Д.В.Беклемишев

ДОПОЛНИТЕЛЬНЫЕ ГЛАВЫ ЛИНЕЙНОЙ АЛГЕБРЫ

М.: Наука. Главная редакция физико-математической литературы, 1983.— 336 с.

Учебное пособие содержит следующие главы: Линейные отображения, теорема Жордана и функции от матриц, введение в численные методы, псевдорешення и псевдообратные матрицы, основные понятия линейного программирования. Элементарные факты из теории матриц и линейной алгебры не излагаются, а используются в том виде, как они изложены в книге автора «Курс аналитической геометрии и линейной алгебры». Книга призвана заполнить пробел, который существует между общим курсом линейной алгебры и приложениями этой дисциплины к научным и техническим задачам.

Для студентов втузов и университетов, обучающихся по специальностям «Физика» и «Прикладная математика».

ОГЛАВЛЕНИЕ

Предисловие6

Глава 1. Линейные отображения7

Сопряженное отображение7

Ортогональность (7) 2. Определение сопряженного отображения

). 3. Координатная запись (10). 4. Свойства сопряженных

отображений (11). 5. Сопряженное преобразование (12). 6.

Отображаемые пространства евклидовы (13). 7. Сингулярные базисы отображений (17). 8. Обобщение на комплексные пространства (19).

Линейные преобразования в евклидовом пространстве22

Экстремальные свойства собственных значений (22). 2. Полярное разложение (25). 3. Единственность полярного разложения (27). 4. Сингулярные числа и сингулярные базисы преобразований (28). 5.

Обзор результатов для унитарных пространств (31).

Линейные преобразования в унитарном пространстве32

Перестановочные преобразования (32). 2. Приведение матрицы линейного преобразования к треугольному виду (32). 3. Нормальные преобразования (34). 4. Свойства нормальных преобразований (36).

Нормированные пространства38

Определение (38). 2. Примеры норм (40). 3. Эквивалентность норм

. 4. Нормы матриц (44). 5. Наиболее употребительные нормы матриц (48). 6. Поэлементная сходимость (52).

Глава 2. Теорема Жордана. Функции от матриц53

§ 1. Аннулирующие многочлены53

Делимость многочленов (53) 2. Многочлены от преобразований

. 3. Минимальный аннулирующий многочлен преобразования

. 4. Нильпотентные преобразования (61).

Жорданова нормальная форма62

Корневые подпространства (62). 2. Жордановы цепочки (66). 3.

Нахождение начальных векторов цепочек (67). 4. Разложение

корневого подпространства в сумму циклических (67). 5.

Размерности циклических прямых слагаемых (69). 6. Вид матрицы нильпотентного преобразования а жордановом базисе (70). 7.

Теорема Жордана (71). 8. Замечания и следствия (72). 9 Построение жорданова базиса (74).

Функции от матриц77

Введение (77). 2. Регулярные функции от матриц (77). 3.

Исследование сходимости матричных степенных рядов (79). 4. Проектирование и отождествление (85) 5. Спектральное разложение (85). 6. Свойства компонентных матриц (88). 7 Вычисление компонентных матриц (90). 8. Сохранение тождеств (92). 9.

Аналитическое продолжение (93). 10. Характеристические числа регулярной функции (95).

Приложение к обыкновенным дифференциальным уравнениям95

Матричные функции скалярного аргумента (96). 2. Системы линейных уравнений с постоянными коэффициентами (97). 3. Вычисление матрицы etA (100).

Локализация корней характеристического многочлена101

Введение (101). 2. Оценки для модулей характеристических чисел (103). 3. Оценки для вещественных и мнимых частей

характеристических чисел (104). 4. Локализационные круги (105). 5. Замечания и следствия (108).

Глава 3. Введение в численные методы111

Введение111

Цель главы (111). 2. Ошибки округления (111). 3. Влияние неточности исходной информации (115). 4. Почти вырожденные матрицы (117). 5. Ограниченность памяти (119).

Обусловленность122

Верхняя оценка возмущения (122). 2. Число обусловленности

. 3. Почти вырожденные матрицы (125). 4. Обусловленность задачи о нахождении собственных векторов и собственных значений (129).

Прямые методы решения систем линейных уравнений134

Метод Гаусса (134). 2. LU-разложения (138). 3- Выбор главного элемента (142). 4. Масштабирование (145). 5. Вычисления с двойной точностью и компактная схема (148). 6. Разложение на

ортогональный и треугольный множители (151). 7. Метод вращений (156). 8. Применение процесса ортогонализации (157). 9. Сравнение методов и оценка их точности (158)

Итерационные методы решения систем линейных уравнений160

Введение (160) 2. Метод простой итерации (162). 3. Итерационное уточнение (166) 4. Метод Зейделя (167). 5. Метод верхней релаксации (168).

170187187200207226235235255273170187187200207226235235255273

170

187

187

200

207

226

235

235

255

273

170

187

187

200

207

226

235

235

255

273

Вычисление собственных векторов и собственных значений

Вводные замечания (170). 2. Степенной метод (171). 3. Обратный степенной метод (173). 4. Дальнейшее развитие степенного метода (177). 5. QR-алгоритм (180). 6. Приведение матрицы к почти треугольной форме (182). 7. Ускорение сходимости QR -алгоритма (184). 8. Апостериорные оценки точности вычислений (185).

Глава 4. Псевдорешения и псевдообратные матрицы

Элементарные свойства

Вводные замечания (187). 2. Минимизация невязки (188). 3. Псевдообратная матрица (193).

Псевдообратное отображение

Определение (200). 2. Запись в сингулярных базисах (201). 3. Псевдообращение при помощи предельного перехода (204).

Методы вычисления

Нахождение псевдорешения при помощи сингулярного разложения (207). 2. Использование регуляризации (209). 6. Вычисление псевдообратной матрицы (211). 4. Прямое получение скелетного разложения матрицы (212). 5. QR -разложение для прямоугольных матриц (213). 6. Метод переортогонализации (214).

Использование qR -разложения (217). 8. Вторая форма сингулярного разложения (2i8). 9. Использование сингулярного разложения (221). 10. Метод Гревиля (222).

Метод наименьших квадратов

Задача приближения функции (226). 2. Линейная регрессия (229). Глава 5. Системы линейных неравенств и линейное

программирование

Однородные системы линейных неравенств

Основные определения (235). 2. Строение выпуклого многогранного конуса (239). 3. Неравенства — следствия системы линейных неравенств (245). 4. Двойственные конусы (249). 5. Теорема отделимости (251). 6. Построение общего решения (251).

Неоднородные системы линейных неравенств

Выпуклые множества в аффинном пространстве (255). 2. Множество решений неоднородной системы линейных неравенств (260). 3. Грани выпуклого многогранного множества (262). 4.

Условия совместности (266). 5. Неравенства — следствия неоднородной системы линейных неравенств (269). 6. Принцип граничных решений (271).

Основы линейного программирования

Введение (273). 2. Постановка задачи (275). 3. Существование решения (277). 4. Двойственная задача (279). 5. Функция Лагранжа (286).

Симплекс-метод

Введение (286). 2. Каноническая форма задачи (286). 3. Задача, двойственная канонической (288). 4. Вершины и ребра

многогранника канонической задачи (289). 5. Шаг симплекс-метода (293). 6. Элиминативная форма записи обратной матрицы (296). 7.

Нахождение начального базиса (298) 8. Двойственный симплекс- метод (300). 9. Зацикливание (305).

Приложения линейного программирования306

Транспортная задача (306). 2. Задача о максимальном потоке (310).

Дискретное линейное программирование (315). 4. Матричные

игры (317). 5. Гарантированные выигрыши (318). 6. Смешанные стратегии (320). 7. Применение линейного программирования (323).

Добавление. Вычисление коэффициентов характеристического328

многочлена

Литература332

Предметный указатель334

Предметный указатель

Алгоритм деления с остатком 63

Алгоритм Евклида 55

Анализ ошибок обратный 114

— — прямой 114

Базис задачи л. п. 291

— — — допустимый 291

— сингулярный 17, 29

— циклический 61

Вектор внутренний 238

— крайний 244

— присоединенный 66

Вершина 263

Вещественная часть преобразования

87

Внутренность конуса 238

— — относительная 238

Выпуклая комбинация 256

— оболочка 256

Выпуклое множество 42, 257

— — многогранное 259

Выпуклый конус 236

— многогранник 259

Вырожденная вершина 289

— задача 290

Главный элемент 143

Граничное подпространство 236

Грань 239, 263

— минимальная 239

Жесткое неравенство 237, 269

Жорданов базис 69, 71

Жорданова клетка 71

— нормальная форма 72

— цепочка 66

Задача двойственная 279

— о максимальном потоке 310

— о назначениях 316

— размещения 315

— о верхними ограничениями 304

— о двусторонними ограничениями

304

— транспортная 306

Запятая плавающая 112

— фиксированная 113

Зацикливание 305

Значение игры 325

Значения на спектре 84

Игра 317

— вполне определенная 320

— динамическая 318

— конечная 318

— матричная 318

— симметрическая 318

— о нулевой суммой 317

Итерационное уточнение 168

Конус двойственный 249

— заостренный 240

— тупой 240

Коэффициент перекоса 132

Локализационные круги 106

Луч 236

— крайний 244

Масштабирование 145

Матрица вычислимая 120

—— диагональная 201

— двойного описания 250

— жорданова 72

— идемпотентная 198

— клеточно диагональная 64

— ковариаций 232

— ленточная 121

— перестановки 142

— почти вырожденная 118

— — треугольная 182

— псевдообратная 193

— равновесная 148

— разреженная 120

— регрессии 129

— с доминирующей диагональю 105

— сопровождающая 102

— треугольная 33, 136

— трехдиагональная 184

— фундаментальная 99

Матрицы компонентные 87

— подобные 72

Машинное е 114

Метод вращений 156, 171

— Гаусса 134, 149

— Гревиля 222

— Жордана 138

— квадратного корня 151

— наименьших квадратов 226

— оптимального исключения 137

— отражений 152

— переортогонализации 214

— последовательных смещений 167

— потенциалов 310

— простой итерации 162

— степенной 171

— — обратный 174

— Якоби 165, 171

Методы исчерпывания 178

Мнимая часть преобразования 37

Многочлен аннулирующий 59

— интерполяционный 88, 90

— матричный 57

— минимальный 60

Наибольший общий делитель 54

Наименьшее общее кратное 56

Невязка 158

Норма 39

— евклидова 40, 50

— индуцированная 46

Норма кольцевая 47

— мажорирующая 42

— согласованная 45

— сохраняющая единицу 46

— спектральная 48

— унитарная 40, 50

Нормы эквивалентные 42

Нормальная система 189

— форма игры 318

— — матрицы 138

Образующие конуса 243

Общее решение 200

Ограниченное множество 258

Окрестность 39

Ортогональное дополнение 7

Остаток при делении 53

Остаточная сумма квадратов 233

Остов конуса 243

Отношение Релея 22

— — обобщенное 186

Отображение псевдообратное 200

— сжимающее 62

— сопряженное 9

Отождествление 85

Отражение 152

Отрезок 42

Оценка 227

— замещения 293

— линейная 230

— несмещенная 230

— точности апостериорная 160

— — априорная 160

Ошибка 230

— округления 114

Переменная дополнительная 287

— искусственная 298

Погрешность 115, 158

Подпространство корневое 62

— собственное 32

— циклическое 61

Показатель нильпотентности 61

Полная система решений 243

Полупространство 235

Преобразование нильпотентное 61

—— нормальное 34

— нулевое 59

— простой структуры 73

— сопряженное 12

Преобразования перестановочные 32

Принцип граничных решений 271

— неподвижной точки 162

Проблема собственных значений 170

Проектирование 85

Пространство нормированное 39

— эрмитово сопряженное 20

Псевдобазис 301

Псевдорешение 190

Разложение полярное 25

— сингулярное 18, 219

— скелетное 196

— спектральное 87

Размерность конуса 236

— многогранного множества 262

Разрез сети 314

— — минимальный 315

Расстояние 39

Ребро 242, 263

Регрессор 229

Режим накопления 148

Решение игры 325

Ряд матричный 78, 97

Сеть 310

Симплекс 322

Симплекс-метод 286

— — двойственный 303

Симплексная таблица 295

Система возмущенная 115

— невозмущенная 115

— ограничений 276

Спектральный радиус 103

Столбец неотрицательный 235

Стратегия 318

— оптимальная 320, 325

— смешанная 321

— чистая 320, 321

Сумма множеств 240

— прямая 63

— ряда 78

Сфера единичная 22, 41

Схема единственного деления 133

Сходимость по норме 39

— по форме 181

— поэлементная 52

Теорема Гамильтона — Кэли 66

— двойственности 280

— Жордана 72

— Куна — Таккера 285

— о максимальном потоке 313

— отделимости 251

— Фаркаша 247, 269

— Фредгольма 12

Точка внутренняя 278

—— допустимая 276

— крайняя 265

Фундаментальная система решений

243

Функции линейно зависимые 227

— параметрические 231

Функция Лагранжа 285

— матричная 77, 96

— — регулярная 78

— полулинейная 19

— целевая 276

Частное двух многочленов 53

l-норма 40LU-разложение 139M -задача 298QR-алгоритм 180QR-разложение 152Qr-разложение 213 qR-разложевие 214l-норма 40LU-разложение 139M -задача 298QR-алгоритм 180QR-разложение 152Qr-разложение 213 qR-разложевие 214

l-норма 40

LU-разложение 139

M -задача 298

QR-алгоритм 180

QR-разложение 152

Qr-разложение 213 qR-разложевие 214

l-норма 40

LU-разложение 139

M -задача 298

QR-алгоритм 180

QR-разложение 152

Qr-разложение 213 qR-разложевие 214

Числа сингулярные 17, 29

Число обусловленности 123

— — спектральное 124

Эквивалентное возмущение 159

Элиминативная форма 297

Ядро отображения 11

c-норма 40

c'-норма 51

ПРЕДИСЛОВИЕ

Эта' книга написана на основе специального курса, который автор читал в течение ряда лет в Московском физико-техническом Институте. Курс был рассчитан на студентов физических и инженерных специальностей, но посещали его также и студенты, специализирующиеся по прикладной математике.

Цель этих лекций состояла в том, чтобы заполнить пробел между общим курсом линейной алгебры и приложениями линейной алгебры к научным и техническим задачам. В соответствии с этим более близкие к приложениям сведения выбирались в зависимости от специализации и интересов слушателей. В книгу вошли почти все темы, когда-либо бывшие в программе, и потому объем материала в ней превосходит обычный объем спецкурса. Подробнее содержание книги видно из оглавления.

Отдельные главы книги изложены достаточно независимо, для того чтобы оставить изучающему свободу выбора материала: гл. III, IV и V практически независимы, хотя отдельные места гл. IV и V, посвященные методам вычислений, предполагают знакомство с гл. III. Почти вся гл. I необходима для дальнейшего изложения, но сведения о комплексных пространствах используются в меньшей мере. Из гл. II в последующих главах чаще всего приходится ссылаться на § 3 и, в частности, на теорему о спектральном разложении функции от матрицы. Теорема Жордана почти не используется, и потому из § 2 гл. II для дальнейшего нужен лишь п. 1.

Частично изложение имеет ознакомительный характер, и ряд результатов приводится без доказательства. В этих случаях делаются ссылки на источник, в котором доказательство можно найти. При ссылках указывается фамилия автора и номер по списку литературы в квадратных скобках. В качестве рекомендуемой литературы выбраны достаточно распространенные учебники и монографии. Читатель, который захочет продолжить изучение предмета, сможет найти дополнительные ссылки в упоминаемых здесь книгах.

Предполагается, что читатель знаком с основными фактами из линейной алгебры. Эти факты используются в том виде, как они изложены в «Курсе аналитической геометрии и линейной алгебры» [3]. Ссылки на этот курс начинаются с буквы К (например, К., предложение 1 § 2 гл. IV). Кроме того, Выражение «как известно, ...» или любое эквивалентное можно рассматривать как неявную ссылку на тот же учебник.

Проф. А. А. Абрамов, проф. В. В. Воеводин и канд. ф.-м. н. А. Ф. Заболоцкая были так любезны, что прочли рукопись книги. Ряд замечаний сделали доц. О. В. Висков и доц. Б. В. Федосов. Всем им я выражаю свою глубокую благодарность.

ГЛАВА 1

ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ

Сопряженное отображение

Известно, что в евклидовом пространстве для линейного преобразования А существует сопряженное преобразование А*. Тот же термин и то же обозначение «звездочка» применялись и по отношению к линейному пространству Ж*, сопряженному данному линейному пространству Ж, т. е. к множеству линейных функций, определенных на Ж. Это сходство в названиях отражает глубокую связь между указанными понятиями. В настоящем параграфе эта связь будет описана подробно. Цель параграфа — определение и изучение отображения, сопряженного заданному линейному отображению одного линейного пространства в другое. Будет предполагаться знакомство с основными свойствами отображений (К., § 3 гл. VI) и с понятием сопряженного пространства (К., § 1 гл. VIII).

Ортогональность. Ниже мы введем для линейных функций на линейном пространстве Жп некоторые обозначения и термины. Они напоминают о связи, которая существует между линейными функциями и векторами в евклидовых пространствах, и упрощают формулировки некоторых предложений.

Рассмотрим линейную функцию / на линейном пространстве Жп. Значение функции / на векторе х мы будем обозначать не / (х), а (/, х). В такую запись /их входят более симметрично.

Известно, что вектор х е Жп можно рассматривать как линейную функцию на Ж*, сопоставляющую каждому / из Ж„ число (/, х) *). Поскольку значение / на х и значение х на / — одно и то же число, мы имеем право писать (/, х) = (х, /).

Вектор х е Жп мы назовем ортогональным вектору / из Ж*, если (/, х) = 0. Заметим, что термин «биортогональные базисы» предполагает ортогональность именно в этом смысле. Очевидно, что отношение ортогональности симметрично: / ортогонален х тогда и только тогда, когда х ортогонален /.

Определение. Пусть <Ж1к — линейное подпространство в Жп. Множество всех векторов из Ж*, ортогональных каждому вектору из <*к, называется ортогональным дополнением ^к и обозначается о^Д.

Подчеркнем, что ортогональное дополнение подпространства в Ж^ лежит в другом пространстве — в Ж^.

Э Для читателя, знакомого с тензорной алгеброй, возможно, стоит заметить, что (/, х) — свертка вектора х и ковектора /.

Предложение 1. Ортогональное дополнение k-мерного подпространства о<к есть линейное подпространство, причем di m <^1 = = п — к.

Доказательство почти не отличается от доказательства аналогичного предложения для евклидова пространства. Заметим сначала, что / е о<к тогда и только тогда, когда / ортогонально всем векторам какого-либо базиса в о^к. Действительно, если ах, ..., ак — базис в <г^к, то для каждого х из <^1к имеем х = б1^ + ... + ^ак и </, Xх) = ^ (f, ах) + ... + £ *(/, ак) в силу линейности функции /'. Поэтому из (/, Oi) = 0, ..., (/, ак) — 0 следует, что (j, х) = = 0. Обратно, если (/, х) — 0 для всех х е о*к, то, в частности, это верно и для базисных векторов.

Выбрав в Жп какой-либо базис, мы можем записать в нем равенства (/, оД = 0 для всех i = 1, ..., к. Это будет система линейных уравнений

xi<x} ■ • • 4- хл<%1 = 0,

Х^ + . . . + Хя«й = 0

относительно коэффициентов функции / в выбранном нами базисе, а*, ..., а” обозначают компоненты вектора аь Так как векторы аъ ..., ак линейно независимы, ранг матрицы системы равен к. Мы знаем, что множество решений системы образует линейное пространство размерности п — к. Это равносильно доказываемому утверждению.

Рассмотрим для некоторого подпространства г-Хк пространство ^УУортогональное дополнение его ортогонального дополнения. Из взаимности отношения ортогональности следует, что e^ft £ (^й-)1. Но размерность (е^^-)-1- равна п — (п — к"), т. е. к. Это значит, что (az^/)1 совпадает с ^№к.

Определение сопряженного отображения. Мы будем рассматривать два линейных пространства Жп и Жт размерностей п и т, вообще говоря, различных. X* и ^^, как всегда, обозначают соответствующие сопряженные пространства. Пусть дано некоторое линейное отображение А: Хп -> Хт.

Если / е j?m — какая-то линейная функция на Хт, то можно взять суперпозицию отображения А и этой функции, т. е. на вектор х е Хп подействовать сначала отображением А, а затем взять значение функции / от вектора к^ е Жт. Таким образом будет определена числовая функция g на пространстве Жп, которая может быть обозначена / « А. Итак,

<g, xW-tWWh А(х)>.(1)

Функция / может рассматриваться как линейное отображение ^^ в множество чисел, и потому £ линейна как произведение двух линейных отображений. Впрочем, линейность g нетрудно проверить и непосредственно.

Теперь сопоставим каждой линейной функции / на Жт функцию / ° А на Хп. Полученное отображение Х*п -* Хп мы обозначим через А*. Таким образом,

A* (h = f- А.(2)

Возьмем значение каждой из частей равенства (2) на векторе х. Мы получим

(А* (Л, x> = (f, А(х)>.(3)

Равенство (3) очень похоже на определение сопряженного преобразования в евклидовом пространстве. Ниже мы покажем, что это не просто внешнее сходство. Заметим, что сходство в записи достигнуто за счет удачных обозначений. Если бы значение функции мы обозначали, как обычно, / (х), то правую часть равенства (3) пришлось бы написать так: / (А (х)), а левую часть — в совсем неудобном виде А* (/) (х).•

Докажем, что отображение А* является линейным. Для этого напомним определения суммы двух линейных функций и произведения линейной функции на число. В наших новых обозначениях эти определения имеют вид

(/1 + /г» х) = (А, х) + Д2) х),

(а/, х) = а(А х).

Используя эти равенства и равенство (3), мы можем написать

<А*(А + А). х) = <А + А, А(х)) = <А, А(х)) + <А, А(х)) =

= (А*(А), х) + (А*(А), х) = (А*(А) + А*(А), х> и

(А* (а/), х) = (а/, А (х)) =а (А А (х)) =а(А* (/), х),

что и исчерпывает вопрос. Теперь мы можем ввести следующее

Определение. Линейное отображение А*: 5С*п ->■ 56^, определенное формулой (2), называется сопряженным линейному отображению А: Хп->Жт.

Можно было бы считать определением формулу (3), потребовав, чтобы равенство выполнялось для всех х е J8V

Из сказанного выше видно, что каждое линейное отображение имеет единственное сопряженное отображение.

Рассмотрим отображение А**, сопряженное отображению А*. Согласно определению, А** отображает Жп в <^т, причем, если х г Х„ рассматривать как линейную функцию на X* , для любого

/ е =^ выполнено равенство

<A**W, fW*. A* (fl).

Как указывалось выше, мы вправе переписать это равенство в вид

(f, А**(х)) = (А*(/), х).

Отсюда, применяя определение кА*, имеем]

(f, M*W = <J, А(х)).

Поскольку это верно для любых f е Х*т, векторы А** (х) и А (х), рассматриваемые как функции на должны совпадать. Их совпадение при любых х е Хп означает, что

А** = А,

Координатная запись. Пусть в пространствах Хп и Хт выбраны базисы е — || еи ..., е„ II и I = || Zb ..., 1т || соответственно. Тогда образ вектора х при отображении А имеет в базисе I координатный столбец

4 = ^,

где § — координатный столбец х в базисе е, а А —матрица отображения А в выбранной паре базисов. Рассмотрим линейную функцию/ на Хт и обозначим ее строку коэффициентов в базисе / через х = «= || хп ..., xm 1J. Тогда значение функции / - А на векторе х равно

(/, А (х)) = хц = х/Ц,

и поэтому функция А* (/)=/ = А в базисе е имеет координатную строку

ц = хА.(4)

Остается вспомнить, что коэффициенты линейной функции в некотором базисе — это ее координаты в базисе сопряженного пространства, биортогональном данному базису. Если и для сопряженного пространства писать координаты вектора в столбец, формулу (4) нужно преобразовать к виду jx7 =АТ хТ. Мы получаем

Предложение 2. Если в некоторой паре базисов отображение А: X„ Хт записывается матрицей А, то сопряженное отображение А *: Х„ -> X* в биортогональных базисах задается транспонированной матрицей АТ.

Если придерживаться чисто матричной точки зрения, то можно было бы сказать, что матрицу А размеров т X п можно употреблять как матрицу отображения двумя способами:

Умножать справа на столбец высоты п и получать столбец высоты т. Это — отображение А пространства столбцов высоты п в пространство столбцов высоты т.

Умножать слева на строку длины /п, получая строку длины п. Это — отображение А* пространства строк длины т в пространство строк длины п.

Свойства сопряженных отображений. Переход к сопряженному отображению следующим образом связан с алгебраическими операциями над отображениями.

Предложение 3. Если определены отображения ВА, А-1

или А + В, то имеем соответственно

(ВА)* = А*В*,(5)

(А-1)* = (А*)-\(6)

(А + В)* = А* + В*,(7)

(с/.А)* = аА*.(8)

Для доказательства формулы (5) рассмотрим три линейных пространства X, X и X и отображения А: Х-> X и В: X X. Если в X, X wX выбраны базисы е, I и h соответственно, то отображение В ° А в паре базисов е и h имеет матрицу В А, где А — матрица А в базисах е, I, а В — матрица В в базисах I, h. Мы знаем, что ^ВАУ = АТВТ для любых матриц А и В, для которых определено произведение В А. Поэтому отображение (В - А)* в базисах, биортогональных hue, имеет матрицу АТВТ и, следовательно, равно произведению А*В*. Итак, формула (5) доказана.

Если отображение А имеет обратное, и А — его матрица в базисах е и I, то обратное отображение А-1 имеет матрицу А'1 в базисах I и е. Поскольку (Л7)'1 = (Л'1)7, сопряженное отображение А* также имеет обратное, и его матрица равна (Л-1)7.

На доказательстве формул (7) и (8) мы останавливаться не будем. Они также легко вытекают из координатной записи отображений.

Напомним, что ядром отображения А называется множество всех таких векторов х, что А (х) = о. Мы будем обозначать ядро А символом Кет А. Несложно доказать, что Кет А — линейное подпространство Х^.

Предложение 4. Ортогональное дополнение, множества значений отображения А совпадает. с ядром его сопряженного отображения -

(А№))Е=КегА*. (9)

Ядро Кег А* отображения А* по определению состоит из всех таких векторов-/ е Х'^, что А* (/) = о. Это значит, что / е Кег А* равносильно равенству (А* (Д, х) = 0 для любых х еХ», что в свою очередь равносильно (/, А (х)) = 0.

Но ортогональное дополнение подпространства А (Х^ как раз и есть множество всех таких f е <5^,, что (/, А (х)) = ®=для любых х г Хп.

12 гл. I. линейные отображения \

Следствие. Применяя предложение 4 к отображению А*, находим ■

А*(^) = (Кег Л)1.

В координатной записи предложение 4 совпадает с теоремой Фредгольма о совместности систем линейных уравнений. Напомним ее формулировку.

Теорема Фредгольма. Система из т линейных уравнений с п неизвхтнымиА^ = b совместна тогда и только тогда, когда каждое решение транспонированной однородной системы Агт) = 0 удовлетворяет условию г,б = 0.

Рассмотрим пару пространств 56 п и и базисы в этих пространствах. Каждый столбец в формулировке теоремы будем считать координатным столбцом некоторого вектора, а матрицу системы А — матрицей линейного отображения А. Совместность системы Л| = Ь означает, что b е А (5еу Множество решений транспонированной однородной системы есть Кег А*. Отметив это, легко видеть, что утверждение теоремы Фредгольма записывается формулой (9).

Предложение 5. Rg А* = Rg А.

Это прямо следует из предложения 2, но читателю в качестве упражнения рекомендуется получить это предложение из сравнения размерноетей обеих частей равенства (9).

Сопряженное преобразование. Выше было определено сопряженное отображение для любого линейного отображения линейных пространств. Сейчас рассмотрим сопряженное отображение для преобразования А: 56„-> 56 п, т. е. такого отображения, для которого пространства 55п и 56т совпадают. В этом случае совпадают также пространства JS* и 55^ и сопряженное отображение является преобразованием пространства 56*. Таким образом, два сопряженных друг другу преобразования А и А* действуют в сопряженных друг другу пространствах 56п и 56*.

Напомним, что матрица отображения А: Хп -> 56 т определена, когда выбраны базисы е в 56 п и / в Жт. По определению в случае преобразования базисы е и I должны совпадать: матрица преобразования А в базисе е состоит из координатных столбцов векторов A (еД, ..., А (еД в базисе е. Принимая во внимание это определение, мы получаем

Предложение 6. Если преобразование А в базисе е имеет матрицу А, то сопряженное преобразование А* в базисе р, биорто- гональном базису е, имеет матрицу АТ.

Для линейных преобразований, в отличие от произвольных линейных отображений, определены инвариантные подпространства, собственные значения и собственные векторы. Исследуем, как они связаны для преобразования А и его сопряженного А*.

Характеристический многочлен не меняется при транспонировании матрицы: det (Д—Х£) = det (Дг— KEY Более того,

Rg (Л — ХЕ) = Rg (Лг — ХЕ). Поэтому из предложения 6 следует

Предложение 7. Собственные значения преобразований А и А* совпадают, и равные собственные значения имеют одинаковые кратности. Если собственному значению X преобразования А соответствует k линейно независимых собственных векторов, то столько же линейно независимых собственных векторов соответствует ему и для преобразования А*.'

Предложение 8. Если подпространство At s Хл инвариантно относительно преобразования А, то его ортогональное дополнение АА = <5?* инвариантно относительно преобразования А*.

Доказательство. Пусть х е At. Тогда А (х) s <^, и для произвольного вектора / е е^1 выполнено (/, А (х)) = 0. Но это означает, что (А* (/), х) = 0, и, таким образом, А* (/) г а^Т.

Предложение 9. Пусть х и f — собственные векторы преобразований А и А* соответственно, принадлежащие собственным значениям X и р. При Х#= р векторы х и f ортогональны.

Действительно, пусть

■А (х) = Хх, х, А (х) е Хп,

и

A*^) = pL f,A*(f)e^.

Рассмотрим значение линейной функции / на векторе А (х). Имеем (А А(х)> = (А*(А, х) = р(А х).

Но (А А (х) ) = X (f, х). Следовательно,

(Х-ц) (А х> = 0.

Отсюда прямо вытекает наше утверждение.

Предложение 10. Если базис е состоит из собственных векторов преобразования А, то его биортогональный базис состоит из собственных векторов преобразования А*.

Для доказательства достаточно вспомнить, что в базисе е матрица преобразования А диагональна. Следовательно, диагональна и ее транспонированная матрица, а это — матрица преобразования А* в биортогональном базисе.

Отображаемые пространства евклидовы. Пусть §„ и ^т — евклидовы пространства соответственно пит измерений. Рассмотрим линейное отображение А: ёп 8т и сопряженное ему отображение А*. Наиболее существенная для нас отличительная черта евклидова пространства состоит в том, что его можно отождествить с сопряженным ему пространством.

Такое отождествление возможно благодаря тому, что существует естественный, не зависящий от выбора базиса, изоморфизм Г:->- g„. Именно, следует напомнить, что для каждой линей

ной функции / на существует единственный присоединенный

. вектор а такой, что для любого х г £„ выполнено равенство (А х) =

= (а, х), в котором круглые скобки обозначают скалярное произведение в $„. При этом отображение Г, сопоставляющее функции ее присоединенный вектор, взаимно однозначно и линейно. Действительно, если х — строка коэффициентов функции / в некотором базисе, ае и g — координатные столбцы векторов а и х, то (Л х) = = xg и (п, х) = arrg, где Г — матрица Грама выбранного базиса. Таким образом, для любого столбца g имеем xg = arrg, что равносильно

х = ат Г.

Так как dei Г ^ 0, это равенство может быть решено относительно а:

о^Г^х7.

Отсюда следует, что Г — изоморфизм линейных пространств. Введя в 8« скалярное произведение по формуле (/, g) = (Г (/), Г (5)), мы можем считать его изоморфизмом евклидовых пространств.

Таким образом, для отображения А: ёп -> %т сопряженное А* отображает Sm в §„ и может быть определено равенством

(A*(z/), х) = (у, А(х)),(10)

которое должно быть выполнено для любых векторов х е 8п и у е 8т. Здесь круглые скобки в левой части равенства обозначают скалярное произведение в 8„, а в правой части равенства — в ет. В дальнейшем мы не будем делать подобные указания, полагая, что принадлежность сомножителей какому-либо пространству говорит о том, что операция скалярного умножения рассматривается в этом пространстве так же, как это принято по отношению к знаку +.

Заметим, что в случае, когда А — преобразование пространства 8п, сопряженное ему А* будет также преобразованием в ^„, и определение (10) совпадает с известным определением сопряженного преобразования евклидова пространства.

Рассмотрим формулу (10) в координатной записи. Выберем в ^„ и в ^т базисы и обозначим через g и ц координатные столбцы векторов ле^„ и у е 8т, через А и А* матрицы отображений А и А*, а через Г и Г матрицы Грама выбранных базисов. Тогда равенство (10) примет вид

(Л*цГ rg = ^fXg,

из которого в Силу произвольности g и т] следует

(Д*УГ = ГД, или

Д*=Г-МГГ.(11)

Это выражение значительно сложнее, чем связь между матрицами^ указанная в предложении 6, поскольку, отождествив ёж с §S и ^т с 8т, мы выбираем в отождествленных пространствах один и тот же базис, а не два биортогональных друг другу базиса. Если базис ортонормированный, он совпадает со своим биортогональным. Для ортонормированных базисов (И) превращается в А* = Ат, что соответствует предложению 5.

По сравнению с рассмотренным в предыдущих пунктах общим случаем сейчас новым является то, что в силу отождествления 8п с 8п и 8т с §т определены произведения А*А и АА*. Первое из них есть преобразование пространства ^д, а второе — пространства 8т. Свойства этих преобразований сходны. Действительно, преобразование АА* может быть записано в виде (А*)*(А*), и, следовательно, второе из преобразований совпадает с первым, взятым для отображения А*. Изучим свойства А*А.

Основную роль при этом будет играть следующее очевидное соотношение:

(А*А (х), х) = (А (х), А (х))^ 0,(12)

в котором равенство нулю достигается тогда и только тогда, когда А (х) = о.

Предложение 11. Преобразование А*А самосопряженное. Его собственные значения неотрицательны.

Действительно, согласно предложению 3, (А*А)* = А*А** = = А* А, что доказывает первое утверждение. Далее, пусть А* А (х) = = Хх. Тогда ' (А*А (х), х) = X (х, х) ^ О в силу равенства (12). Отсюда А 0.

Предложение 12. Ядро преобразования А*А совпадает с ядром отображения А. Множество значений А* А совпадает с множеством значений А*.

Доказательство. Из А (х) = о следует А*А (х) = о и потому Кет А г Кег А*А. Кроме того, из А*А (х) = о следует (А*А (х), х) = 0 и, согласно (12), А (х) = о. Поэтому Кег А*А = s Кег А, что и доказывает утверждение

Кег А = Кег А*А.(13)

Для доказательства второго утверждения сравним ранги А и А*А, что представляет и самостоятельный интерес. Известно, что сумма ранга отображения и размерности его ядра равна размерности отображаемого пространства. Отображаемое пространство 8„ у отображений А и А*А одно и то же, и ядра их совпадают. Следовательно,

RgA*A = Rg.A-(14)

Далее, поскольку А(8д) г 8Ш, разумеется, А*А (^Д = A* (^J. Но по определению ранга отображения имеем Rg А = Rg А* =

= dim A* (tm) и Rg А*А = dim А*А $nY Ранги равны, следовательно, подпространства совпадают в силу указанного выше включения и равенства размерностей'

‘ А*А (8п) = A* (8^.

Предложение доказано.

, В евклидовом пространстве самосопряженному преобразованию В сопоставляется квадратичная форма (В (х), х). Из предложения 11 вытекает

Следствие. Квадратичная форма (А* А(х), х) положительно полуопределенная. Она положительно определена тогда и только тогда, когда Кег А = о.

Мы знаем, что Rg А = Rg А*. Отсюда, применяя формулу (14) к отображению А*, имеем

RgA*A = RgAA*-(15)

Исследуем связь собственных векторов и собственных значений преобразований А*А и АА*. Она выражается следующим предложением.

Предложение 13. Если х — собственный вектор преобразования А*А, принадлежащий собственному значению Х^О, то А (х) — собственный вектор преобразования АА*, принадлежащий тому же еобственному значению. При этом линейно независимым собственным векторам Xi, ..., xs преобразования А* А соответствуют линейно независимые собственные векторы А (хх), . , А(х$) преобразования А А*.

Доказательство. Пусть А*А (х) = Хх. Подействуем отображением А на обе части этого равенства. Результат можно записать в виде (АА*)А(х) = X А (х). Если Х#= 0, то А*А (х) ^ о и, следовательно, А (х) =# о. В этом случае вектор А (х) собственный для АА* и принадлежит значению X.■

Далее, рассмотрим линейно независимые собственные векторы хь ...,х5 преобразования А*А, принадлежащие ненулевым собственным значениям Х1( ..., Х„ среди которых могут быть и равные. Предположим, что векторы А (xj А (xs) линейно зависимы и «! A (xj) + ... + as А (xj — их нетривиальная линейная комбинация, равная нулю. Подействовав на нее отображением А*, получим

ajA*A (x^+.-. + a^A (xJ) = a1X1x1 + ... + aiX^ = o, что при ненулевых Хп .... Xs противоречит линейной независимости векторов хъ ..., xs. Предложение доказано.

Поскольку для самосопряженных преобразований максимальное число линейно независимых собственных векторов, принадлежащих собственному значению X, равно его кратности, мы получаем

Следствие. Ненулевые собственные значения преобразований А*А и АА* совпадают, причем равные собственные значения имеют одинаковые кратности.

Замечание. Наличие нулевого собственного значения и его кратность у преобразований А*А и АА* определяются размерностями Кег А и Кег А* соответственно.

Сингулярные базисы отображений. Рассмотрим отображение А: ёп-^-§т, где 8п и ^ — евклидовы пространства, и введем

Определение. Первым сингулярным базисом отображения А называется ортонормированный базис в ^„, состоящий из собственных векторов преобразования А*А, если векторы базиса упорядочены так, что соответствующие собственные значения не возрастают: Х2 51 ... 5, Х„.

Таким образом, если г = Rg А, то Х; > 0 при i ^ г и Ху = О при / > г. Пусть 61, ..., еп — первый сингулярный базис А. Тогда

(А (е,), А (е/)) = (А*А (еа, е/) = Xi (eh е^.

Отсюда следует, что векторы А (е,) попарно ортогональны и

|A(^)J = K^.(16)

Это означает, что A (ej #= о при i ^ г и А (еа = о при t > г *).

Определение. Числа а,- = J/77, где X, — собственные преобразования А*А, называются сингулярными числами отображения А, а также сингулярными числами матрицы этого отображения в произвольном базисе.

Согласно (16) при t ^ г векторы а^А (ег) образуют ортонорми- рованную систему в Вт. Дополним ее до ортонормированного базиса / в и введем

Определение. Вторым сингулярным базисом отображения А называется ортонормированный базис / в Вт, первые г векторов которого имеют вид а7‘А(ег), t == 1, ..., г, где ii, ..., еп — первый сингулярный базис, а г = Rg А..

Из определений видно, что сингулярные базисы определены неоднозначно.

Теорема 1.5 паре сингулярных базисов отображения А матрица этого отображения имеет следующий вид".

л-|о'о|-<17>

Здесь Dr — квадратная диагональная матрица порядка г с числами at на диагонали, а остальные элементы А равны нулю.

Доказательство. По определению столбцы А — координатные столбцы векторов А (е,) в базисе /. Из (16) следует, что —~ I йазшл йзаиа! Заерги

) Ср. предложение 12.^ ^ ^ ,

последние п — т столбцов матрицы А нулевые. Из определения / для i ^ г следует, что А(е,) = ajj. Это заканчивает доказательство.

Вспомним, что при замене базисов в пространствах 1„ и ^Л матрица отображения преобразуется по формуле А' = P^AQ^ где Р и Q — матрицы перехода. Если исходные базисы ортонормиро- ванные, то матрицы перехода к сингулярным базисам будут ортогональными. Поэтому мы можем придать теореме 1 следующую матричную формулировку.

Теорема 1м. Для произвольной матрицы А размеров т X п найдутся такие ортогональные матрицы U и У, что матрица UAV имеет вид (17).

Бывает полезна следующая равносильная формулировка:

Произвольная матрица А размеров т X п может быть разложена в произведение

A=QDP,(18)

где Q и Р — ортогональные матрицы, a D — матрица вида (17). Это разложение называется сингулярным разложением матрицы. Дополнением теоремы 1 служит следующая

Теорема 2. Пусть матрица А отображения А в некоторой паре ортонормированных базисов представлена в виде произведения (18), причем числа а; на диагонали матрицы D расположены в невоз- растаюшрм порядке. Тогда столбцы матриц РТ и Q — координатные столбцы векторов соответственно первого и второго сингулярных базисов А. Первые г сингулярных чисел А равны ab i = 1, ..., г, а остальные п — г равны нулю.

Доказательство. Рассмотрим некоторый столбец р^ матрицы РТ. Так как Р — ортогональная матрица, имеем

А т Ар, = Рт DT DP pt = PTDT De,,

где е,- — столбец единичной матрицы порядка п. Матрица DTD — квадратная диагональная матрица порядка п, причем первые г ее диагональных элементов равны сф, а остальные — нули. Поэтому при i s^ г

Ат Api = а[Р тек = сцр1г

и АтApt = 0 при i > г. Таким образом, р,, t = 1п, — координатные столбцы собственных векторов преобразования А*А, Этим доказаны утверждения о первом сингулярном базисе и сингулярных числах.

Далее,

A pt = QDPpt = QDet.

Пусть Ri — столбец единичной матрицы порядка т. Произведение De, равно а^, при i г и нулю в остальных случаях. Поэтому

для всех I = 1, ..., г

Api = a,Qe,- = а.дь

где Qi — столбец матрицы Q. Это заканчивает доказательство теоремы.

Если матрица отображения А в паре ортонормированных базисов представлена в виде (18), то матрица сопряженного отображе- яия А* равна

дт = Рт DT Qr.

Отсюда следует

Предложение 14. Пусть е = || е1$ .... еп || и / = fl Д, ... .... fm II — первый и второй сингулярные базисы отображения А. Тогда /— первый, ае — второй сингулярные базисы отображения к *. Ненулевые сингулярные числа отображений кик* совпадают.

Допустим, что отображение А обратимо, и его матрица в паре ортонормированных базисов равложена в произведение (18). Тогда матрица отображения А-1 равна

Д-1 = p-iy-iQ-i = рт d^QT ,

и мы приходим к следующему предложению.

Предложение 15. Пусть отображение к обратимо и е и f—его первый и второй сингулярные базисы. Тогда базисы е и / отличаются соответственно от второго и первого сингулярных базисов отображения к'1 не больше чем порядком векторов. Если ab 1 = 1, .... п, — сингулярные числа А, то ay1—сингулярные числа А-1.

Обобщение на комплексные пространства. В случае комплексных пространств мы можем определить сопряженное отображение так же, как это было сделано в п. 2, и все свойства такого отображения, изложенные в пп. 2—5, сохранятся, так как в этой части изложения вещественность пространств никак не использовалась. Однако связь сопряженного отображения со скалярным произведением, которая имеет место для евклидовых пространств, в таком виде непосредственно не обобщается на унитарные пространства. (Эта связь может быть перенесена на комплексные евклидовы пространства, не представляющие значительного интереса.)

Для того чтобы связь сопряженного отображения со скалярным произведением сохранилась для унитарных пространств, необходимо изменить определение сопряженного пространства, что мы и сделаем. Рассмотрим комплексное линейное пространство 56 п и введем следующее

Определение. Функция на Жп называется полулинейной (или эрмитово линейной), если для любых х, у е Жп она удовлетворяет условиям

У, ах) = а (А х),

в которых а — число, комплексно сопряженное а, a (f, х) по-прежнему обозначает значение / на векторе х.

Это определение приводит к следующему выражению для (/, х) берез компоненты х в некотором базисе е = II ^еп ||:

<А ^> = S^z=x^

где | — столбец, комплексно сопряженный координатному столбцу вектора х, а х — строка коэффициентов функции /, причем, как и в случае линейной функции, xz = (/, ег).

Как и для линейных функций, определим сложение полулинейных функций и умножение их на число при помощи следующих равенств:

(/1 + /2, x) = (ji, х)> + (/2, х\(af, x) = a(f, х).

Нетрудно проверить, что в силу такого определения линейных операций множество всех полулинейных функций на «-мерном комплексном линейном пространстве j?„ само является «-мерным комплексным линейным пространством. Это пространство мы и назовем сопряженным или эрмитово сопряженным пространству J?„ и обозначим 56*..

Базис р\ .... рп пространства 56* называется биортогональным базису ег, .... еп пространства 56 п, если

/ I \ f о, i /#<р • е/>- { i=j.

Если х — строка коэффициентов полулинейной функции / в базисе е, то координатный столбец / в биортогональном базисе есть хг.

Рассмотрим два комплексных линейных пространства 56п и 3?т и отображение А: 56п-> 56т. Отображение А*: 56™-> 56„ назовем сопряженным отображению А, если для всех х е 56п и/ е 56™ выполнено

(А* (/),=А(х)>.(19)

Таким образом, определение сопряженного отображения по форме не отличается от соответствующего определения для вещественных пространств. Поэтому все свойства, изложенные в первых пунктах этого параграфа, сохранятся с незначительными изменениями. Именно, предложение 2 заменится на

Предложение 16. Если в некоторой паре базисов отображение А: 56п-> 56 т имеет матрицу А, то сопряженное отображение в биортогональных базисах имеет матрицу А* = АТ.

Действительно, выберем в 56™ и 56* базисы и обозначим через ц их координатные строки полулинейных функций / и А* (/) в этих

базисах. Тогда равенство (19) равносильно матричному равенству |л| = хЛ| = хЛ|, из которого в силу произвольности столбца | следует

' |ц = хД.(20)

Отсюда доказываемое предложение вытекает непосредственно.

Соответственно должно быть изменено в применении к линейным преобразованиям комплексных пространств и предложение 6.

В предложении 3 все утверждения остаются справедливыми, за исключением формулы (8), которая принимает вид

(аА)* = аА*.(21)

Доказательство предложения 7 основывается на совпадении характеристических многочленов матриц А и Ат. Поскольку

det (Д7 —ХЕ) = det (Л — ХЕ), предложение 7 заменится на

Предложение 17. Если X — собственное значение преобразования к комплексного линейного пространства 55 п, то X — собственное значение сопряженного преобразования А*: 56*-=*-56* и X имеет ту же кратность, что и X.

В предложении 9 в случае комплексных пространств следует потребовать, чтобы собственные значения не были комплексно сопряжены, т. е. X =# р вместо X =# р для вещественных пространств.

Остальные результаты пп. 2 — 5 переносятся на комплексные пространства без изменений, если под сопряженным понимается эрмитово сопряженное пространство.

Рассмотрим унитарное пространство Ип и в нем фиксированный вектор а. Сопоставим каждому вектору х е ZZ„ число (а, х). Нетрудно проверить, что тем самым будет определена полулинейная функция на К,,. Обратно, для каждой полулинейной функции / на !£„ найдется присоединенный ей вектор а такой, что

<А х) = (а, х)

для всех х е "Un. Соответствие, относящее каждой полулинейной функции на "Un ее присоединенный вектор, является изоморфизмом Г: К*-> Кп, позволяющим отождествить эти пространства. Такое отождествление общепринято.

Пусть задано линейное отображение унитарных пространств А: Ип -> Цт. В силу того, что каждое из пространств отождествлено со своими сопряженным, отображение А*, сопряженное А, отображает йт в Ип. Оно удовлетворяет условию

(А* (у), х) = (х, А (х))

для любых х е Un и у е Мт. Матрицы отображений А и А* связаны соотношением

(Л*)ТГ=ГД,

в котором Г и Г — матрицы Грама пространств Т1п и ltm. Таким образом, формула (11) для унитарных пространств принимает вид

л* = г-1Лгг.

При введенных нами определениях все содержание пп. 6—7 переносится на случай отображений унитарных пространств с незначительными изменениями. Например, в формулировке следствия из предложения 11 речь должна идти не о квадратичной форме, а об эрмитовой квадратичной форме.

§ 2. Линейные преобразования в евклидовом пространстве

В этом параграфе мы применим результаты § 1 к преобразованиям в евклидовом пространстве. Однако в начале удобно будет остановиться на некоторых важных свойствах самосопряженных преобразований, не связанных с предыдущим материалом.

Экстремальные свойства собственных значений. Рассмотрим самосопряженное преобразование А евклидова пространства 1п. Функция

, х (А (х), х)г 4 7(X, X) ’

определенная на всем пространстве S„, за исключением нулевого вектора, называется отношением Релея для преобразования А или для квадратичной формы (А (х), х). Единичной сферой Sn в 1п мы будем называть множество векторов длины 1.

Предложение 1. Множество значений отношения Релея совпадает, с множеством значений квадратичной формы (А (х), х) на единичной сфере.

Действительно, каждое значение квадратичной формы на векторе из Sn есть значение отношения Релея на том же векторе. Обратно, если для какого-то ненулевого х g S„ имеем р (х) = а, то а = (А (у), у), где у = | х f‘x е S„.

Нас будут интересовать максимальные и минимальные значения отношения Релея. В силу предложения 1 мы можем вместо них рассматривать максимальные и минимальные значения (А (х), х} на £„.

Пусть еъ ..., е„ — ортонормированный базис из собственных векторов преобразования А. Мы будем предполагать, что базисные векторы упорядочены так, что соответствующие собственные значения расположены в невозрастающем порядке: ^ ^ А^ ^ ... ^

Запишем в базисе е = II еъ ..., еп II значение квадратичной формы на векторе х е

(А(х), х)=£М^)3. (1)

4 =1

Поскольку х е 8п, здесь 5 (£г)2 = 1. Если все собственные значения мы заменим на наибольшее из них, то, вообще говоря, нарушим равенство (1), увеличив его правую часть. Поэтому

р(х) = (А(х), x)^Zt 5= Ч(2)

i = 1

указанная верхняя граница достигается на первом базисном векторе:

P^^Zp

Аналогично доказывается, что р(х) Ss Z„ и р(ел) = Z„. Итак, Мы получили-

Предложение 2. Максимальное значение отношения Редея равно наибольшему собственному значению преобразования А, а минимальное — наименьшему собственному значению. Эти значения достигаются на соответствующих собственных векторах.

Следствие. Если квадратичная форма I положительно определена, то для любого вектора х отношение значений двух квадратичных форм k (х)/1 (х) заключено между наибольшим и наименьшим корнями уравнения det(A — ZB) = 0, где А и В — матрицы квадратичных форм к и I в некотором базисе е.

Действительно, пусть § — координатный столбец вектора х р базисе е, а т| — координатный столбец того же вектора в каноническом базисе квадратичной формы I. Тогда,если | = S^to STBS = «= Е и В = S^S-1. Для отношения к (х)Д (х) мы находим

= п1д7лм

Введем скалярное произведение при помощи квадратичной формы I (К., теорема 2 § 3 гл. VIII). Канонический базис будет орто- йормированным по отношению к этому скалярному произведению, а рассматриваемое отношение будет отношением Релея для преобразования с матрицей SrAS в этом базисе. Следовательно, к (х)/| (х) Заключено между наибольшим и наименьшим корнями уравнения det (SrAS — ZE) = 0. Но

det (Sr AS - ZE) = det Sr det (A - ZS^-'S-') det S,

и корни уравнения совпадают с корнями уравнения det (А — ZB) = Аз 0. Это заканчивает доказательство.

Рассмотрим теперь подпространство ^ в §„ и ограничение квадратичной формы к (х) = (А (х), х) на подпространстве ££. Ограничение квадратичной формы — это такая функция к' на подпространстве ^, что к' (х) = к (х) для каждого вектора х из ^. Конечно, л — квадратичная форма на ^, и для нее существует ортонорми-

рованный базис в ^, в котором она имеет диагональный вид

k'(x)= Si = 1

Пусть нумерация векторов базиса выбрана так, что р1( .... р* расположены в невозрастающем порядке: Цх 5? р2 ^ ... ^ р*. Тогда Рх — максимум отношения Релея для к' (х) и тем самым — максимальное значение, которое принимает отношение Релея для к (х) на подпространстве ^.

Предложение 3. Пусть Xt, ..., Хп — собственные значения самосопряженного преобразования к, a рх, ..., р* — собственные значения его ограничения на к-мер ном инвариантном подпространстве, занумерованные в невозрастающем порядке. Тогда

Хх Pl 5s ^п-№(3)

Действительно, единичная сфера ^6 пространства ^ принадлежит единичной сфере пространства $п, а максимальное значение функции на подмножестве не больше максимального ее значения на всем множестве. Поэтому Xj 2а рт.

Докажем второе неравенство. Для этого выберем в g* вектор х с координатами вида (I1, ..., gn-*+1, 0, ..., 0) в каноническом базисе квадратичной формы к(х), т. е. лежащий в пересечении ^ с линейной оболочкой первых п — к + 1 базисных ве'кторов. Ненулевой вектор в пересечении этих пространств существует, так как сумма их размерностей больше чем п. Пусть у = | х |-1х. Заменяя все собственные значения на Хп_к+1, имеем

к' (у) = к (у) = Хх (р1)2 +... + Х„_т (ц"-^ . Х„_м, откуда и вытекает доказываемое неравенство.

Для фиксированного подпространства ^к величина рт — константа, но она изменяется при переходе к другому подпространству Wu, оставаясь в границах (3). При этом обе границы могут быть достигнуты. Действительно, обозначим через %к линейную оболочку векторов еп ..., ек. В этом подпространстве на векторе ег достигается абсолютный максимум отношения Релея: Хт = р (ej, и потому на нем рх = Xi. Для линейной оболочки векторов еп_зд, .... еп имеем р (х) = X„_ft+1 (г]"”^1)2 + ... + Х„ (т]")2, где

У, (V)2 = 1. Значит, р (х) «S Хд^, и pt = p(e„_ft+1) = X„_A+1. 1 = П —*+1

Таким образом, мы приходим к следующей теореме.

■ Теорема 1. Пусть собственные значения самосопряженного линейного преобразования расположены в невозрастающем порядке-. Xt Х2 ^ ... ^ Хя. Тогда

■Xn_ft+1 = min max р(х),

причем максимум берется по всем ненулевым векторам подпространства %к, а минимум—по всевозможным инвариантным подпространствам размерности к.

Действительно, мы видели, что Хп_А+1 есть достижимая нижняя граница для gx, а рх = max р(х) по предложению 2.

Обозначим через §Л_А линейную оболочку первых п — к базисных векторов en ..., еп_к. Ее ортогональное дополнение 8'п^к со- • держит вектор en_k*v для которого р (еп_к+1) = А„_»+1. Это означает, что минимум, о котором идет речь в теореме 1, достигается для подпространства 8'п^к. Эти соображения позволяют представить себе процесс построения ортонормированного базиса из собственных векторов преобразования А, который мы опишем, не вдаваясь в вопрос о том, как он может быть осуществлен.

Сначала находим вектор, на котором достигается максимум отношения Релея, точнее, любой такой вектор. Затем в ортогональном дополнении подпространства, порождаемого этим вектором, снова ищем вектор, на котором достигается максимум. Затем ищем максимум в ортогональном дополнении линейной оболочки двух выбранных векторов и т. д. В конце остается пронормировать полученную систему векторов.

Для обоснования этого построения следует доказать, что максимум отношения Релея достигается только на собственном векторе. Это делается при помощи метода Лагранжа для отыскания условного экстремума (см. Кудрявцев [16], т. II, § 42). Функция Лагранжа имеет вид

i,j = ii = i

Приравнивая нулю ее частные производные, мы получаем систему уравнений, которой удовлетворяют собственные векторы:

Цц^1 + • • •+«1^" — ^1 = 0,

ал1^4-...4-а^ге-^,г=0.

' 2. Полярное разложение. Известно, что аффинное преобразование плоскости разлагается в произведение ортогонального преобразования и двух сжатий к взаимно перпендикулярным прямым.

Сейчас мы получим обобщение этого разложения для произвольного линейного преобразования А Векторного евклидова пространства. Оно называется полярным разложением А.

Теорема 2. Для каждого линейного преобразования А евклидова пространства §л найдутся самосопряженное преобразование S с неотрицательными собственными значениями и ортогональное преобразование Р такие, что

А = Р8.

Доказательству •теоремы удобно будет предпослать следующее простое

Предложение 4. Если ех, .... е„ и Д, ..., fn — ортонорми- рованяые базисы в Sn, то существует такое ортогональное преобразование Р, что Р (ед = fi (г = 1, ..., nY

Действительно., условие Р (ej = Д- однозначно определяет все столбцы матрицы преобразования в базисе е — это координатные столбцы векторов Д, ..., fn. Обозначим их <pz. Так как система векторов / ортонормиров ан а, имеем*

i = j,

и, следовательно, матрица преобразования ортогональна. Отсюда прямо следует нужное заключение.

Перейдем теперь к доказательству теоремы 2. Пусть е = II е1( ... ...,еп ||,и/= [|Д, ...,tn II — сингулярные базисы преобразования А. (Поскольку А — преобразование, оба базиса являются базисами в ^я.) Тогда для всех г = 1, .... п имеем

А (е,) = аД,

где а,- — сингулярные числа преобразования А. Действительно, для i =с Rg А это — определение векторов Д а для остальных I, с одной стороны, az = 0, ас другой стороны, А (ед = о, и равенство выполнено.

Рассмотрим теперь ортогональное преобразование Р, переводящее первый сингулярный базис во второй: Р (ed = h, Z — 1, .... п. Докажем, что преобразование 8 = Р-1А самосопряженное. Действительно, для любого i имеем

Р^А (е,) = Р-1 (az/z) = а^.(5)

Таким образом, преобразование S обладает ортонормированным базисом из собственных векторов еп ...,е„. В нем его матрица диа- гональна и, тем самым, симметрична. Следовательно, S — самосопряженное преобразование. Кроме того, из (5) видно, что собственные значения S равны alf ..., ап и потому неотрицательны. Это заканчивает доказательство теоремы.

Теорема 2 может быть сформулирована в терминах матриц.

Теорема 2м. Для произвольной квадратной матрицы А найдутся такая ортогональная матрица Р и такая симметричная матрица S с неотрицательными характеристическими числами, что

A — PS.(6)

Предложение 5. Для каждого линейного преобразования А евклидова пространства ^„ найдутся такое ортогональное Преобразование Р' и такое самосопряженное преобразование 8' с неотрицательными собственными значениями, что k = 8'Р'.

Для доказательства напишем разложение (4) для преобразования А*. Пусть А* = PiSi. Отсюда следует, что А = S*P* = = SiPf1, и можно положить S' = Si и Р/ = Р?<

Единственность полярного разложения. Если, преобразование А представлено в виде PS, где S — самосопряженное, а Р —■ ортогональное преобразование, то А*А = S*P*PS=S2. Покажем, что преобразование S определено по S2, а следовательно, и по А единственным образом. Для этого докажем сначала следующее Предложение 6. Собственные векторы № реобразования 8 являются собственными векторами преобразования S2. Если 8 — самосопряженное преобразование с неотрицательными собственными значениями, то и, обратно, собственные векторы преобразования S2 являются собственными для 8. В этом случае собственные значения преобразования 8 равны арифметическим квадратным корням из соответствующих собственных значений S2.

Доказательство. 1) Пусть S (х) = ах для вектора х ^ о. Тогда S2 (х) === 8 (8 (х)) = 8 (ах) = а2х.

Пусть S2 (х) = Хх и ^ — координаты вектора х в ортонорми- рованном базисе е = II еъ ..., е„ || из собственных векторов преобразования 8- Тогда имеем

S2(x) = X2^ = S^4-.

С другой стороны, если аг — собственные значения 8, то

82(х) = £№) = №^L£

Отсюда следует, что ^ (а? — X) = 0 для всех i = 1, ..., п. Таким образом, ^ = 0 для всех I, для которых а,- ^ X. Так как щ неотрицательны, равенства а| = X и а/ = Л могут быть выполнены только при условии а; = а/. Следовательно, вектор х раскладывается только по тем векторам базиса е, которые соответствуют одному и тому же собственному значению. Это означает, что он также является собственным для преобразования S, и принадлежит собственному значению а,- = ]/Х. Предложение доказано.

Теперь единственность преобразования 8 вытекает из следующего предложения.

Предложение 7. Самосопряженное преобразование S однозначно определяется его собственными значениями и собственными векторами.

Для доказательства рассмотрим систему иодиространств ^ь ... ...., 56р, каждое из которых состоит из всех собственных векторов, принадлежащих одному собственному значению, и нулевого вектора. Этих подпространств столько, сколько различных собственных значений. Каждый вектор х однозначно’ раскладывается в сумму вида '

л = Л1+...-Ьх„ где хае<Жа.

Действительно, разложение такого вида можно получить, объединяя слагаемые в разложении х по любому базису из собственных векторов. Докажем единственность разложения. Если бы таких разложений было два: х = хх + ... + хр = ух + ... + ур, то мы имели бы (хх — t/i) + ... + (хр — у^ = о. Произвольная разность ха—уа, принадлежащая Жа, в этом случае принадлежит также и сумме всех остальных подпространств. Если она не равна нулю, отсюда прямо вытекает линейная зависимость собственных векторов, принадлежащих различным собственным значениям.

Далее, если разложение определено однозначно, то и образ 8 (х) вектора х однозначно определен:

8 (х) = аххх + • • • + а-рХр.

Предложение доказано.

Не представило бы труда сразу выписать выражение 8 (х) в ор- тонормированном базисе из собственных векторов:

п

SW = 2J М-^, ей ей(7)

/=i

но необходимо было бы устанавливать независимость результата от выбора базиса.

В общем случае ортогональное преобразование Р в полярном разложении преобразования А определено не однозначно. Однако если преобразование А не вырождено, т. е. RgA = п, то не вырождено также и 8, а потому Р однозначно определено как AS1.

Сингулярные числа и сингулярные базисы преобразований.

В § 1 сингулярные числа и сингулярные базисы были введены для отображений евклидовых пространств. Сейчас мы изучим их подробнее в случае преобразований.

Из формулы (5), полученной при доказательстве теоремы 2, следует, что сингулярные числа преобразования равны собственным значениям самосопряженного преобразования 8 в полярном разложении преобразования А, а первый сингулярный базис А состоит из собственных векторов 8.

Выясним геометрический смысл сингулярных чисел в трехмерном евклидовом векторном пространстве. При преобразовании А единичная сфера S8 перейдет в некоторый эллипсоид. Рассмотрим произвольный радиус этого эллипсоида, т. е. длину вектора А (х) при условии (х, х) = 1. Имеем

| А (х) |2 = (А (х), А (х)) = (А*А (х), х).(8)

Для вектора х на единичной сфере последнее выражение совпадает с отношением Релея для преобразования А*А, собственные значения которого — квадраты сингулярных чисел. Поэтому из предложения 2 вытекает.

ах^| А(х)|^аз

для .всех хе S3. Это означает, что Oj и а3— наибольшее и наименьшее отношения длин образа и прообраза при преобразовании А. Ясно, Что Uj и а3 — большая и малая полуоси эллипсоида.

Далее, согласно теореме 1,

a2 = min max j А (х) |.

<§* ? О ^ X G ^ 2

Минимум достигается на плоскости, ортогональной большой оси эллипсоида, причем max | А (х) | равен большей полуоси эллипса, лежащего в этой плоскости. Поэтому а2 — средняя полуось эллипсоида.

Таким образом, сингулярные числа характеризуют растяжение пространства, возникающее в результате преобразования А, безотносительно к тому, как поворачиваются векторы при преобразовании. Для самосопряженного преобразования они равны модулям собственных значений, но они определены и для произвольного преобразования. Их геометрический смысл легко может быть обобщен на пространства произвольной размерности, так как формула (8) не зависит от размерности пространства. Отметим, в частности, следующее

Предложение 8. Для произвольного линейного преобразования к евклидова пространства §п

I А (х) || А (х) |

max , Y =«1, min - .=

о*хг@п Ио*хе§п Iх!

где ах и ап — наибольшее и наименьшее сингулярные числа преобразования. А.

Действительно, полагая у = | х |-1 х, мы видим из формулы (8), что квадрат отношения | А (х) | / | х | равен отношению Релея для преобразования А*А. Отсюда в силу предложения 2 получаем требуемое заключение.

Приведем некоторые свойства сингулярных чисел. Детерминант и след матрицы линейного преобразования, как и любые коэффициенты ее характеристического многочлена, являются инвариантами преобразования. Следующие предложения показывают их связь с сингулярными числами.

Предложение 9. Детерминант матрицы линейного преобразования в евклидовом пространстве по абсолютной величине равен произведению сингулярных чисел.•

Для доказательства вычислим модуль детерминанта обеих частей равенства (6). Получим

.[det^ | = |detP|. |detS|.

Здесь | det Р | = 1, так как преобразование Р ортогональное, а det S равен произведению собственных значений преобразования S, равных сингулярным числам. Отсюда | det Л | = ах ... а„, как и требовалось.

Предложение 10. Абсолютная величина следа матрицы линейного преобразования А не превосходит суммы его сингулярных чисел.

Для доказательства запишем полярное разложение преобразования А в первом сингулярном базисе и представим его матрицу в виде А = PS, где S — диагональная матрица с сингулярными числами на диагонали. Нетрудно проверить, что при умножении Р на диагональную матрицу каждый столбец Р умножится на соответствующий элемент диагонали S. Поэтому след А равен сумме произведений соответствующих элементов диагоналей Р и S. Но элементы ортогональной матрицы по абсолютной величине не превосходят единицы. Отсюда

|tr A

как и требовалось.

Предложение 11. При умножении преобразования к слева или справа на ортогональное преобразование U его сингулярные числа остаются неизменными.

Доказательство. Пусть А — матрица преобразования А в ортонормированном базисе. Напишем ее сингулярное разложение (18) § 1: А = QDP. Здесь Q и Р— ортогональные матрицы, a D — квадратная диагональная матрица порядка п. Сингулярные числа преобразования А — это диагональные элементы матрицы D. Матрица преобразования AU равна AU = QDPU, причем PU — ортогональная матрица. Применяя теорему 2 § 1, мы видим, что диагональные элементы матрицы D — сингулярные числа преобразования. AU.

Для произведения UA предложение доказывается аналогично.

Отметим еще следующее

Предложение 12. Сингулярные числа преобразования А совпадают с сингулярными числами его сопряженного преобразования А*.

Это предложение — прямое следствие предложения 14 § 1.

Предложение 13. Образ любого вектора при преобразовании может быть найден, если известны сингулярные числа и сингулярные базисы этого преобразования.

Действительно, напишем разложение произвольного вектора по первому сингулярному базису

х = У (х, е^ et

и подействуем на обе части равенства самосопряженным преобразованием S, входящим в полярное разложение А = PS:

SW = S(X> е^е^^а^х, е^.44

На обе части этого равенства подействуем ортогональным преобразованием Р и получим разложение

А (х) = ^ <*> ^) Р ^ = S ^Х> е‘)

в котором ft — векторы второго сингулярного базиса, а а,- — сингулярные числа.

В качестве упражнения читатель может попробовать получить предложение 13 из теоремы 2 § 1, а предложения 11 и 12 с помощью полярного разложения.

Обзор результатов для унитарных пространств. Рассмотрим самосопряженное преобразование А унитарного пространства Ип. Отношение Релея для А определяется так же, как и в случае евклидова пространства. В ортонормированном базисе из собственных векторов преобразования А мы можем записать

, . (А (х). х) S Х/УЕ'

(х, х) 2 >/?

где Xi — собственные значения преобразования А. Отсюда следует утверждение, равносильное предложению 2: для любого х

Хп^р (х) Xi(9)

(при условии, что собственные значения упорядочены в невозрастающем порядке).

Экстремальные свойства собственных значений, сформулированные в теореме 1, переносятся на самосопряженные преобразования унитарных пространств без изменений.

Полярное разложение линейного преобразования в унитарном пространстве имеет вид

A = PS,

где Р — унитарное, aS — самосопряженное преобразование о неотрицательными собственными значениями. Доказательство существования этого разложения и его единственности для обратимых преобразований практически не отличается от приведенного доказательства, относящегося к евклидовым пространствам: в качестве Р берется унитарное преобразование, переводящее первый сингулярный базис во второй, a S = Р-1А оказывается самосопряженным преобразованием, собственные значения которого равны сингулярным числам А.

Свойства сингулярных чисел, полученные в п. 4, почти без изменения переносятся на унитарные пространства. Так, имеет место

Предложение 14. При умножении преобразования к справа или слева на унитарное преобразований О, сингулярные числа А остаются неизменными,

Линейные преобразования в унитарном пространстве

Основная часть параграфа будет посвящена результатам, не имеющим места в вещественном случае. Они, как правило, связаны с тем, что в комплексном пространстве каждый корень характеристического уравнения является собственным значением, и с тем, что каждый комплексный многочлен имеет хоть один комплексный корень.

Перестановочные преобразования. Преобразования А и В называются перестановочными, если АВ = ВА. Следующие свойства таких преобразований имеют место в равной мере и для комплексных, и для вещественных пространств. Ниже всюду Im В обозначает область значений преобразования В, ранее обозначавшуюся В (Л?). '

Предложение 1. Если линейные преобразования А и В линейного пространства Xп перестановочны, то подпространства Кет В и Im В инвариантны относительно к.

Действительно, пусть z е 1тВ,т. е. существует у е Хп такой, что х = В (у). Тогда А (х) = АВ (у) = ВА (у) е 1m В, как и требовалось. .

Далее, пусть х е Кег В, т. е. В (х) = о. Тогда В (А (х)) = = АВ (х) = о. Это означает, что А (х) е Кег В, и, таким образом, Кег В инвариантно.

Будем называть собственным, подпространством преобразования А подпространство, которое состоит из всех собственных векторов, принадлежащих какому-нибудь одному собственному значению, и нулевого вектора.

Предложение 2. Если АВ = ВА, то собственные подпространства В инвариантны относительно к.

Собственное подпространство, соответствующее собственному значению X, есть Кег (В — ХЕ). Если АВ = ВА, то А (В — ХЕ) = = (В - ХЕ) А. Отсюда утверждение следует в силу предложения 1.

Преобразования А и А — ХЕ перестановочны, и мы имеем

Следствие. Подпространство Im (А—ХЕ) инвариантно относительно преобразования к.

Заметим, что инвариантность Кег (А — ХЕ) очевидна: это или собственное подпространство, или нулевое подпространство.

Перейдем теперь к результатам, относящимся только к комплексным пространствам.

Приведение матрицы линейного преобразования к треугольному виду.

Предложение 3. Каждое линейное преобразование А комплексного линейного пространства Хп имеет собственный вектор. В каждом инвариантном подпространстве преобразования А содержится собственный вектор.

Первое утверждение очевидно, поскольку характеристическое уравнение обязательно имеет хоть один корень, и он является соб-

ственным значением. Второе утверждение следует из первого, если его применить- к ограничению рассматриваемого преобразования на инвариантном подпространстве.

Отсюда и из предложения 2 следует

Предложение 4. Любые два перестановочных преобразования комплексного пространства имеют общий собственный вектор.

Действительно, пусть А и В перестановочны. Любое собственное пространство преобразования В инвариантно относительно А и, следовательно, содержит собственный вектор А.

Предложение 3 по существу означает, что в каждом инвариантном подпространстве содержится одномерное инвариантное подпространство. Можно доказать также и следующее

Предложение 5. 5 каждом k-мерном инвариантном пространстве линейного преобразования к комплексного пространства Xп содержится (к — \умерное инвариантное подпространство.

Докажем сначала, что у линейного преобразования А комплексного линейного пространства Хп существует (л — 1)-мерное инвариантное подпространство Xn_v Для этого рассмотрим подпространство Im (А — ХЕ), где X— собственное значение А. Это подпространство, как мы видели, инвариантно относительно А и имеет размерность Rg (А — ХЕ), меньшую п. Она может оказаться и меньше чем п — 1. В этом случае докажем, что любое подпространство Хп_ь содержащее Im (А—ХЕ), инвариантно относительно А.

Действительно, пусть Im (А — ХЕ) S =5?л_1- Тогда (А — ХЕ) х е е Хп-1 для любого вектора х. Теперь, если х е Жпл, то из А (х) — Хх е Хп_х следует А (х) е =5?п-1> что и означает инвариантность подпространства Xn_v

Чтобы доказать предложение для любого к, теперь достаточно применить доказанное нами утверждение к ограничению преобразования А на произвольном инвариантном подпространстве.

Из доказанного нами предложения 5 вытекает, что для любого линейного преобразования комплексного линейного пространства существует последовательность вложенных одно в другое инвариантных подпространств размерностей п — 1, п —2, ..., 1:

^с^с...^ Xn-icX^c: Хп. (1)

Действительно, для построения этих подпространств можно применять- предложение (5) последовательно: на каждом шагу оно применяется к инвариантному подпространству, построенному на предыдущем.

Определение. Матрица А о элементами а*, называется верхней (соответственно нижней) треугольной, если а' = 0 при i > j (соответственно при i < /).

Предложение 6. Для каждого линейного преобразования А в комплексном линейном пространстве 55 п существует базис, в котором его матрица является верхней треугольной.

Для доказательства рассмотрим базис, связанный с цепочкой инвариантных подпространств (1) следующим образом: eY е 56Y, вектор е2 дополняет ех до базиса в Ж2, вектор еэ дополняет ег, е2 до базиса в 55 2 и т. д. В результате для всех k = 1, .... п векторы еп ... .... ек образуют базис в 55 к. Поскольку подпространства 56 к инвариантны, для каждого к вектор А (е*) принадлежит подпространству Хк и, следовательно, раскладывается по векторам eY, ..., ек. Поэтому для элементов а^ матрицы преобразования А мы имеем ^ = О при I > к, как и требовалось.

Для унитарных пространств усилением предложения 6 является.

Теорема 1. Для каждого линейного преобразования унитарного пространства Ип существует ортонормированный базис, в котором его матрица — верхняя треугольная.

Для доказательства достаточно заметить, что базис, построенный в предложении 6, в значительной мере произволен, и его можно выбрать ортонормированным. Действительно, применяя процесс ортогонализации Грама — Шмидта, мы добавляем к любому вектору ек слагаемое, лежащее в линейной оболочке еп ..., ek_Y, т. е. в 56b_Y, и, следовательно, не выводим его из 56к.

Нормальные преобразования. Важный класс линейных преобразований вводит следующее.

Определение. Линейное преобразование в унитарном или евклидовом пространстве называется нормальным, если оно перестановочно со своим сопряженным преобразованием:

А*А = АА*. '

Примерами нормальных преобразований являются самосопряженные преобразования, унитарные преобразования, ортогональные преобразования евклидова пространства.

Основное свойство нормальных преобразований содержит

Теорема 2. В унитарном пространстве нормальные преобразования и только они имеют ортонормированный базис из собственных векторов.

Заметим, что в евклидовом пространстве теорема не имеет места. Указанное в ней свойство в этом случае характеризует самосопряженные преобразования.

Доказательство теоремы 2 можно получить из теоремы 1, если проверить, что верхняя треугольная матрица А, которая перестановочна со своей сопряженной АТ, является диагональной. Однако этот способ доказательства при простоте идеи не является ни коротким, ни поучительным. Чувствуется, что свойства нормальных преобразований должны быть тесно связаны с результатами § 1

о преобразованиях вида А*А. Из этих соображений мы и получим теорему 2.

Применяя предложение 12 § 1 к нормальному преобразованию и к его сопряженному, имеем-

КегА*А = КегА, ImA*A = ImA* и

■ Ker АА* = Ker A*, ImAA* = ImA, откуда для нормального преобразования

Im А* = Im А, Кег А* = Кег А.(2)

Теперь в силу предложения 4 § 1

Im А* = Im А = (Кег АД.

Мы доказали

Предложение 7. Если А — нормальное преобразование евклидова или унитарного пространства 56„, то 56 п есть прямая сумма ортогональных подпространств Кег А и Im А:

56п — Кег А ф Im А.

Доказательство теоремы 2 начнем со следующих простых замечаний: 1) Для нормального преобразования А и любого X преобразование А — ХЕ также является нормальным. 2) Ограничение А' нормального преобразования А на любом инвариантном подпространстве — нормальное преобразование, причем собственные векторы А' являются собственными и для А.

Существование ортонормированного базиса из собственных векторов нормального преобразования докажем индукцией по размерности пространства. Для пространств размерности 1 утверждение теоремы очевидно.

Рассмотрим n-мерное унитарное пространство Ип и его нормальное преобразование А. Согласно предложению 3, А имеет собственный вектор. Обозначим через X соответствующее собственное значение и рассмотрим преобразование А — ХЕ. Для него имеем

11 п = Кег (А — ХЕ ф Im (А — ХЕ),

причем Кег (А — ХЕ) — собственное подпространство преобразования A, a Im (А — ХЕ) инвариантно относительно А по следствию из предложения 2. Кроме того, dim Im (А —ХЕ) «5 п — I.

К подпространству Im (А—ХЕ) и ограничению преобразования А на нем мы применим предположение индукции, согласно которому в Im (А — ХЕ) существует ортонормированный базис из Собственных векторов А. Объединение этого базиса и любого ортонормированного базиса в Кег (А — ХЕ) будет ортонормированным базисом в Un, состоящим из собственных векторов преобразования А.

Нам остается проверить, что только нормальные преобразования в унитарном пространстве обладают ортонормированными базисами из собственных векторов. Это сделать нетрудно. Действительно, в таком базисе матрица А преобразования А диагональна и матрица преобразования А* также диагональна (она равна Ат). Две диагональные матрицы перестановочны, следовательно, перестановочны и преобразования А и А*.

Свойства нормальных преобразований. Как было отмечено, самосопряженные и унитарные преобразования являются нормальными. Известно также, что собственные значения самосопряженных преобразований унитарного пространства вещественны. Из теоремы 2 следует, что любое нормальное преобравование с вещественными собственными значениями является самосопряженным: матрица такого преобразования в ортонормированном базисе из собственных векторов вещественная диагональная и, тем самым, эрмитова.

Собственные значения унитарного преобразования по модулю равны 1. Действительно, если Р — унитарное преобразование и Р (х) = Хх, то

(х, х) = (Р(х), Р(х)) = (Хх, Хх) = ХХ(х, х).

При х^о это означает, что XX = 1, как и требовалось.

Если все собственные значения нормального преобразования Р по модулю равны 1, то в ортонормированном базисе из собственных векторов его матрица унитарная и потому Р — унитарное преобразование. Итак, мы имеем

Предложение 8. Самосопряженные преобразования в унитарном пространстве могут быть охарактеризованы как нормальные преобразования с вещественными собственными значениями. Унитарные преобразования и только они являются нормальными преобразованиями, собственные значения которых по модулю равны 1.

Рассмотрим полярное разложение нормального преобразования. В ортонормированном базисе е из собственных векторов нормальное преобразование А имеет матрицу

А =А =Xi ОО Х„Xi ОО Х„

А =

А =

Xi О

О Х„

Xi О

О Х„

которую для краткости мы обозначим diag (Хь ..., XJ. (Это — принятое обозначение диагональной матрицы, и мы будем пользоваться им в дальнейшем.) Каждое из чисел Xft мы можем записать в виде Х6 = pt (cos <pft 4- i sin фа), где pt = | Xt | — вещественное неотрицательное число, а число 6 а = cos фА 4- i sin фа по модулю равно 1.

Обозначим через S и Р матрицы diag (рь ..., р„) и diag (бц ... ..., е„) соответственно. Очевидно, что А = SP = PS. Для преобразований S и Р, определяемых матрицами S и Р в базисе в,

выполнено равенство

A = SP = PS.(3)

При этом S — самосопряженное с неотрицательными собственными значениями, а Р — унитарное. Следовательно, (3) — полярное разложение.•

Предложение 9. Для того чтобы линейное преобразование в унитарном пространстве было нормальным, необходимо и достаточно, чтобы сомножители в некотором его полярном разложении были перестановочны.

Необходимость условия установлена выше. Нетрудно установить и достаточность. Пусть А = SP = PS. Тогда А* = P"‘S = = SP"1, и мы имеем

А А* = SPP^S = SP^PS = А* А.

Пусть А — произвольное линейное преобразование унитарного пространства. Преобразования

В = 1(А + А*) и С = ^-(А-А*)(4)

называются соответственно вещественной и мнимой частью преобразования А. Очевидно, что А = В + iC.

Находя В* и С* согласно формулам (7) и (8) § 1, мы без труда заметим, что преобразования В и С самосопряженные. Обратно, каковы бы ни были самосопряженные преобразования В и С, они являются соответственно вещественной и мнимой частью преобразования А = В 4- iC. Действительно, если В и С самосопряженные, то А* = В* — t‘C* = В — t’C, откуда следуют соотношения (4).

Предложение 10. Пусть В u С — самосопряженные преобразования унитарного пространства. Тогда следующие утверждения эквивалентны;

Преобразование А = В + t‘C нормальное.

Преобразования В и С обладают общим базисом из собственных векторов.

Преобразования В и С перестановочны.

Доказательство. 1) Эквивалентность (а) и (в) следует из равенства

ВС — СВ = ^-(А*А — АА*),которое легко проверяется.

Из (а) следует (б). Действительно, в ортонормированном базисе матрицы преобразований А, В и С связаны равенствами

В = 1(А + А*), С = -1(А-Л»),

где Л* обозначает АТ. Следовательно, в ортонормированном ба- 'зисе из собственных векторов преобразования А матрицы В и С диагональные, так же, как и А. Значит, векторы этого базиса — собственные для преобразований В и С.''

Из (б) следует (в). Если В и С обладают общим фазисом из собственных векторов, то в нем их матрицы диагональны и, следовательно, перестановочны. Значит, перестановочны и преобразования.

Предложение доказано. Заметим, что один из способов доказательства теоремы 2 состоит в том, чтобы непосредственно проверить, что из (в) следует (б).

Следующие три предложения вытекают из теоремы 2. Мы приведем их непосредственные доказательства, так как они переносятся на евклидовы пространства, для которых теорема 2 не имеет места. Предложение 11. Если А — нормальное преобразование унитарного (или евклидова) пространства, то его собственный вектор, соответствующий собственному значению X, является собственным вектором преобразования к*, соответствующим собственному значению X (для евклидова пространства — тому оке значению X).

Для доказательства достаточно применить формулу (2) к преобразованию А — ХЕ, которое нормально, если нормально А.

Предложение 12. Собственные векторы нормального преобразования, принадлежащие различным собственным значениям, ортогональны.

Действительно, если А (х) = Хх и A (z/) = уу, то в силу предыдущего предложения

Х(х, z/) = (A(x), у) = (х, к*(у)) = (х, pz/) = p(x, у),

откуда (X — ц) (х, у) = 0.

Предложение 13. Пусть ^ — собственное подпространство нормального преобразования к. Тогда его ортогональное дополнение е&Х. инвариантно относительно к.

Доказательство. Преобразования А и А* перестановочны, поэтому а< инвариантно относительно А*. Из предложения 8 § 1 теперь вытекает, что <^1 инвариантно относительно (А*)*, т. е. А.,

Предложение 14. Сингулярные числа нормального преобразования равны модулям его собственных значений.

В ортонормированном базисе из собственных векторов преобразования А матрица преобразования А*А диагональна, и ее диагональные элементы равны ХД,-, где X,- — собственные значения А. Значит, квадраты сингулярных чисел равны квадратам модулей собственных значений.

4. Нормированные пространства

Определение. Во многих задачах, связанных с линейными пространствами, возникает необходимость сравнивать между собой элементы пространства, например иметь возможность сказать, что один вектор в каком-то смысле мал по сравнению с другим. Если

пространство евклидово, естественно сравнивать векторы по длине. Можно ввести скалярное произведение в пространстве специально с этой целью, но часто природа объектов, составляющих пространство, такова, что нет никакого естественно связанного с ней скалярного произведения. Кроме того, скалярное произведение как таковое может быть и ненужным, нужен только какой-то аналог длины вектора — числовая функция от вектора, обладающая несколькими важными свойствами. Такие функции вводятся следующим определением.

Определение. Пусть функция ф сопоставляет каждому вектору в вещественном или комплексном линейном пространстве 55 некоторое вещественное число. Эта функция называется нормой, а ее значение на векторе х — нормой этого вектора, если выполнены следующие условия для любых векторов х и у и любого числа к

ф (х) > 0 для всех х =£ о.

ф (Хх) = | X | ф (х) «положительная однородность».

ф (X + у) е^ ф (х) + ф (у) «выпуклость».

Линейное пространство, в котором задана норма, называется нормированным. Часто норму вектора х обозначают || х ||. Вместо слов «норма, значение которой на векторе х обозначается || х ||» мы будем писать «норма ||* ||».

Заметим, что из свойства 2) следует ф (о) = 0.

Еще одно свойство норм записывается неравенством

t(^-</)^I<pU)-<p(i/)|.(1)

Действительно,

Ф (х) - ф (у) = ф (х - у + у) - Ф (у) =^ Ф (х — у) + ф (у) - ф (у) =

= Ф(х-у).

Аналогично доказывается, что

Ф (у) — ф (х) с у (у — х) = ф (х — у).

В нормированном пространстве мы можем определить расстояние между векторами х и у как норму их разности || у — х ||. Так определенное расстояние обладает характерными свойствами расстояния между точками евклидова пространства: оно неотрицательно и обращение его в нуль равносильно совпадению х и у. Кроме того, || у — х || = || х — у II, т. е. расстояние симметрично, и выполнено неравенство треугольника || х — у II + II у — z II 2з II х — z И.

Множество векторов нормированного пространства, расстояние от которых до некоторого вектора а не превосходит заданного числа е, называется г-окрестностью вектора а.

Используя понятие окрестности, можно определить предел последовательности векторов нормированного пространства: вектор а называется пределом последовательности векторов {х*}, если для каждого е > 0 найдется такое число к0 (е), что все элементы после- довательдости, начиная с элемента с номером к0, лежат в е-окрест-

кости вектора а, или, короче, в каждой окрестности вектора а лежат все, за исключением конечного множества, элементы последовательности.

Таким образом, возникает возможность перенести на нормированные пространства в том или ином виде все понятия элементарного математического анализа. В нашу задачу не входит изложение этой теории. С ее основами можно ознакомиться по курсам математического анализа. В § 3 гл. II мы будем предполагать, что читателю известны основные факты о нормированных пространствах в объеме, соответствующем § 57 книги Кудрявцева [16], т. II.

Нормированные пространства играют в математическом анализе очень важную роль. Это объясняется тем, что задачи математического анализа относятся большей частью не к отдельным функциям, а к широким классам функций, и классы эти являются бесконечномерными линейными пространствами, нормированными или еще более общими, так называемыми линейными топологическими пространствами. Область математики, изучающая такие пространства, называется функциональным анализом.

В линейной алгебре исследуются конечномерные линейные пространства, и потому понятия анализа, связанные с предельным переходом, не будут играть для нас решающей роли. В этом параграфе мы обсудим наиболее употребительные нормы в конечномерных линейных пространствах и, в частности, в пространствах матриц. Однако ниже мы покажем, что с точки зрения сходимости последовательностей по норме различие норм в конечномерном пространстве не существенно.

Примеры норм. Рассмотрим n-мерное арифметическое пространство, безразлично, вещественное или комплексное, т. е. линейное пространство вещественных или комплексных столбцов высоты п. В таком пространстве наиболее употребительны следующие нормы для столбца с элементами |‘, i = 1, ..., tv.

Ш^Ц!У | — октаэдрическая норма, или 1-норма.

Ш2 = (5 i^' i2)‘/2 ~ евклидова, или, в комплексном пространстве, унитарная норма.

Ш,р = ^2 I £' \рур' Р > 1, — норма Гельдера, или 1р-норма.

HI ||го = шах | % | — кубическая норма, или с-норма. '

i

Если в арифметическом пространстве ввести скалярное произведение, потребовав, чтобы базис из столбцов единичной матрицы был ортонормированный, то для каждого х

•\ I- /

В силу свойств скалярного произведения: отсюда следует, что евк-

лидова (унитарная) норма действительно удовлетворяет аксиомам.

определяющим норму.

Проверка выполнения аксиом для /-нормы и с-нормы не представляет труда. Для нормы Гельдера мы не будем проверять аксиомы, так как у нас не будет случая воспользоваться этой нормой. •

В произвольном линейном пространстве можно использовать те же нормы, если фиксировать в нем базис, и сопоставить каждому

вектору одну из вышеперечисленных норм его координатного столбца. Естественно, что так построенная норма зависит от выбора базиса.

Для каждой нормы в линейном пространстве X„ можно рассматривать множество линейных преобразований пространства, сохраняющих норму, т. е. удовлетворяющих условию II А (х) || = || х ||.

Рис. 1.Рис. 1.Для евклидовой (унитарной) нормы это — ортогональные (унитарные) преобразования.

Рис. 1.

Рис. 1.

Назовем единичной сферой нормированного пространства множество векторов, норма которых равна единице.

Предложение 1. Норма любого вектора в нормированном пространстве может - быть вычислена, если известна единичная сфера.

' Действительно, любое одномерное подпространство Хх пересекает еди-

ничную сферу S', так как если х е <5^, то х0 = || х 1Г*х е е J^ Q S. Далее, каждый вектор у е Жх отличается числовым множителем от вектора х0 е S. Теперь мы можем заметить, что II У II = II Хх0 || = | X |.

На рис. 1 нарисованы единичные сферы в двумерном пространстве, соответствующие различным нормам. Октаэдрическая и кубическая нормы называются так потому, что при п = 3 соответствующие единичные сферы являются соответственно октаэдром и кубом. Предоставим читателю это проверить.

Легко можно понять, что, например, октаэдрическая норма не порождается никаким скалярным произведением. Ее единичная сфера обладает совсем иными свойствами симметрии, чем обычная сфера. Поэтому существование скалярного произведения, порождающего эту норму,, противоречит теореме об изоморфизме евклидовых пространств. Подробного доказательства мы не приводим.

Для двух векторов хт и х2 в нормированном пространстве рассмотрим множество всех векторов вида

у = «Xi + (1 — а) х2

для произвольных а из отрезка [0, 1]. Это множество векторов называется отрезком с концами хх и хг.

Какова бы ни была норма, единичный шар, т. е. множество векторов, по норме не превосходящих единицу, обладает следующим свойством.

Предложение 2. Если концы xY и хг отрезка принадлежат единичному шару, то ему принадлежит и весь отрезок.

Действительно, в силу третьего условия из определения нормы, для любого вектора отрезка мы имеем

Ш=СаИ1Н(1 -а)|1М

Отсюда прямо вытекает доказываемое утверждение.

Множества, которые обладают сформулированным в предложении 2 свойством, называются выпуклыми.. Отсюда происходит название третьего условия.

Из предложения 2, например, следует, что астроида — линия с уравнением х2/» + у1^ = 1 — не может быть единичной окружностью ни для какой нормы на плоскости.

Эквивалентность норм. Пусть ф — норма в линейном пространстве 56п. Если а — положительное вещественное число, то функция ф (х) такая, что ф (х) = нф (х) для любого х е 56 п, также является нормой. Эта норма обозначается сир.

Рассмотрим две нормы ф и ф. Мы будем говорить, что норма ф мажорирует норму ф, и писать fy -с ф, если для любого вектора х из Жп выполнено неравенство ф (х) =с Ф (х). Ясно, что две произвольные нормы могут быть и не связаны подобным отношением. Обозначим е-окрестность вектора а относительно нормы ф символом 0ф (а, е). Еслиф -С ф, то нетрудно проверить, что Оф (а, е) s Оф (а, е) для любых a G 56 п и е > 0.

Нормы ф и ф называются эквивалентными, если существуют такие положительные числа aY и а2, что

а!ф^ф^а2ф.(2)

Очевидно, что отношение-эквивалентности рефлексивно, т. е. каждая норма эквивалентна самой себе. Это отношение также транзитивно: если атф - : ф - ; а2ф и Рхф - : х - : Р2ф, то «1Р1Ф '■ X ' “гРгФ- Кроме того, из (2) следует, а^’ф -с ф -С «Т’ф. Это означает, что отношение эквивалентности норм симметрично.

Пусть ф и ф — две эквивалентные нормы. Легко доказать, что В этом случае для любых a е 56 п и е> О

°^а-- °Ф & 8) - °4> U,(3)

где числа а2 и а2 определены соотношением (2).

Предложение 3. Последовательность векторов {х6} в 35п сходится по норме ф тогда и только тогда, когда она сходится по любой эквивалентной ей норме ф.

Доказательство. Пусть последовательность {х*} сходится к вектору а но норме ф. Докажем, что она сходится к а по эквивалентной норме ф. Выберем произвольное в > 0. В силу сходимости по норме ф существует такой номер кЙ (е/а2), что хк г е 0^ (а, е/а2) для всех к^ кЙ (е/а2). Тем самым, согласно (3), хк g Оф (а, е). Следовательно, число к0 (е/а2) удовлетворяет требованиям из определения сходимости по норме ф.

Обратное утверждение следует из уже доказанного в силу симметричности отношения эквивалентности норм.

Мы докажем, что в конечномерном линейном пространстве все нормы эквивалентны. Доказательство использует свойства непрерывных функций (см. Кудрявцев, [16], т. 1,§ 19), однако эквивалентность трех основных норм можно показать без труда.

Предложение 4. В арифметическом пространстве I-норма, с-норма и евклидова норма эквивалентны.

Доказательство. Произвольный столбец | может быть разложен по столбцам единичной матрицы. Применяя свойства нормы к этому разложению, мы имеем для произвольной нормы || * [|

Ш^НЧка.(4)

i

Оценим правую часть, заменяя каждое из чисел || е{ || на максимальное из них. Обозначив max || е, || через а, получаем

Ш^а£НЧ=аШ1.(5)

Но правую часть (4) можно оценить и заменяя каждое из чисел | ^ | на максимальное из них. Отсюда

Ш.^тахт^ЫНРНи• (6)

где р = S || е, ||. Применим (5) к с-норме, а (6) — к /-норме. Тогда, поскольку а ^ 0,

а-111L^ llllli^ Р HU

Этим доказана эквивалентность /-нормы и с-нормы.

Из оценки

max | £' | ^ /^ I ^ l2Y/2 ^ Kn max J ^ |‘\ I J‘

следует эквивалентность с-нормы и евклидовой нормы. Предложение доказано. Одновременно мы доказали следующее

Предложение 5. Каждая норма в арифметическом пространстве мажорируется произведением 1-нормы на некоторое число

а, произведением с-нормы на число р и произведением евклидовой нормы на число р.

Предложение 6. Любая норма ф есть непрерывная функция в каждой из трех основных норм, т. е. Ф-(|*) -> ф (g0) для каждой последовательности {g*}, сходящейся к g0 по 1-норме, с-норме или евклидовой норме.

Достаточно доказать это, скажем, для с-нормы. Мы имеем, согласно (1),

I Ф (I*) Ф (?о) I ■ ■ ф (s* 1о) ' ■ Р ,| Ia io ||со.

Поскольку || gft — |о11оэ-> 0, наше утверждение следует из свойств числовых последовательностей.

Предложение 7. Для любой нормы ф существуют такие положительные числа рл и р2, что каждый столбец g, для которого || g ||2 = 1, удовлетворяет неравенству pi sC Ф (g) ^ р2.

Для доказательства воспользуемся результатами из математического анализа (см. Кудрявцев [16], т. I, § 19). Евклидова единичная сфера — множество столбцов таких, что || g ||2 = 1, — замкнута и ограничена в евклидовой норме. Функция ф непрерывна в евклидовой норме и потому достигает на сфере максимального и минимального значения. Обозначив эти значения через р2 и р., мы получаем нужное неравенство. Остается доказать, что рг > 0. Но это очевидно, так как существует столбец g0, для которого ф (g0) = Р1 и II g0 II = 1.

Теперь мы можем доказать следующую теорему.

Теорема 1. Все нормы в арифметическом пространстве эквивалентны.

Доказательство. Мы докажем эквивалентность любой нормы ф и евклидовой нормы. Отсюда в силу транзитивности отношения эквивалентности норм будет следовать утверждение теоремы.

Произвольному столбцу g ^= 0 сопоставим столбец g° такой, что 1 = II ИМ0- Тогда ф (g) = || g ||2ф (g°), и, согласно предложению 7, мы- можем написать

РтШз^Ф^РзНЬ

Так как для g = 0 это неравенство очевидно, теорема доказана.

Поскольку все нормы эквивалентны, иногда бывает безразлично, какой нормой пользоваться, и нам будут встречаться формулировки, содержащие слова вроде следующих: «если данное неравенство выполнено в какой либо норме...». Однако проводимые выкладки часто очень существенно зависят от того, с какой нормой мы имеем дело, и возможность свободно пользоваться любой наиболее подходящей к случаю нормой существенно упрощает рассуждения.

Нормы матриц. Рассмотрим линейное пространство ^т,п матриц размеров т X п. В нем, как и в любом линейном пространстве, могут быть введены различные нормы. Нас будут интересе-

вать те из них, которые связаны с нормами столбцов и с тем обстоятельством, что элементы пространства — именно матрицы.

Дальнейшее изложение проводится для вещественных матриц. Для комплексных матриц возникают очевидные незначительные различия. Например, евклидова норма заменяется унитарной нормой, ортогональные матрицы — унитарными.

Определение. Норма в е^тл называется согласованной с нормами в арифметических пространствах е%т и ^п, если для любой матрицы Л и любого столбца g е е%п выполнено

(7)(7)М11!^М1!Ш1-

(7)

(7)

Здесь Лg и | — столбцы высоты соответственно т и п, и в неравенство входят их нормы, выбранные в пространствах с%т и

Покажем на примере, что согласованные нормы существуют.

Именно, рассмотрим функцию от матрицы Л е <^т,п".

(8)(8)”ФИ)-5иР11Г.

(8)

(8)

Поскольку II Лg II/ || I II = II Лg0 II, где g° = || gH^g, функция ф может быть записана также и в виде

(9)(9)<р(Л)= sup IIЛ1Я.

(9)

(9)

Предложение 8. Функция (8) определена и является согласованной нормой в <^т.п, каковы бы ни были нормы, выбранные в $1т и б^ 71-

Существование точной верхней грани будет установлено, если мы докажем ограниченность отношения || Л g || / || g ||. Используя теорему 1, мы можем написать

Отсюда || Лg ||/ || g || sS у. ‘

Проверим условия, входящие в определение нормы.

Выражение || Лg II / II g II неотрицательно, и потому ф (Л) ^ 0. При этом ф (Л) = 0 тогда и только тогда, когда || Лg || = 0 для всех g. Но условие || Лg || = 0 равносильно Л^ = 0 и выполнено для всех g в том и только том случае, когда Л = О.

Из тождества (ХЛ) g = X (Л g) следует || (ХЛ) g || = | X | • | Лg ||. Нетрудно доказать, используя определение точной верхней грани, что при умножении всех элементов множества на неотрицатель^ ное число точная верхняя грань множества умножится на это число: sup | X11| Лg | = [ XI sup Ц Лg ||. Этим будет доказана положи- 11611=111611=1'■

тельная однородность функции ф (Л).

Для любых Л и В и II g II = 1 имеем

.IM + 5)6i=Mg+Bgi^M§l+lBg|, ..

а в качестве общего свойства точной верхней грани можно доказать, что

sup (p + ^) = sup (p)+sup(7),реР, qeQРQ

если Р и Q — множества вещественных чисел (ср. Кудрявцев [16], т. I, стр. 26, упр. 1).

Таким образом, функция (8) является нормой. Докажем, что она согласована. Действительно, при |^= 0 по определению точной верхней грани II Д§ П/ If § II ==^ ф (Л), откуда || Л 5 || ^<р (Л)||| ||.

Определение. Норма в ^1тп, определяемая формулой (8), называется нормой, индуцированной нормами в пространствах е%т и е^п, или просто индуцированной нормой.

Предложение 9. Каждая согласованная норма мажорирует индуцированную норму.

В самом деле, согласованная норма матрицы Л является верхней границей для отношения || Л | || / || § ||, а верхняя грань — наименьшая из верхних границ. Поэтому индуцированная норма матрицы Л не превосходит любой ее согласованной нормы.

Дадим определение двух важных свойств норм матриц. Если норма в пространстве квадратных матриц ЛК? обладает тем свойством, что || Е || = 1, то говорят, что она «сохраняет единицу». Легко видеть, что для любой нормы <р в ^^ среди норм вида сер одна и только одна норма обладает этим свойством.

Нормы в пространстве е^Д, удовлетворяющие при любых Л и В условию

M^i^Mmbi,(Ю)

называются матричными или кольцевыми нормами. Мы будем придерживаться последнего термина, хотя он и менее распространен, для того чтобы избежать трудно воспринимаемой на слух ситуации, когда норма матрицы не является матричной нормой. Условие (10) будем называть кольцевым свойством нормы.

Легко видеть, что для кольцевых норм || Л II ^ II В II -II Л ||, откуда

11^11^1.(П)

Кроме того, из кольцевого свойства вытекает, что

II А1-1| ^|| А р(12)

для любого натурального /г и

'|| Л-11| || А Г.(13)

' Докажем также следующее

Предложение 10. Любая индуцированная норма в ®Япг сохраняет единицу и обладает кольцевым свойством.

Первая часть предложения очевидна. Вторая вытекает из следующей оценки, в которой еще раз используется свойство точной

верхней грани, примененное в доказательстве предложения 8:

|ЛВЦ= sup и<вш^ sup ММ^| = И1 sup |В£| =М|. |S1. i6i=JШ=1Й8 = 1

Обратим теперь внимание на то, что неравенство (10) может иметь место и в более общем случае. Достаточно считать, что матрицы А и В прямоугольные и имеют такие размеры, что определено их произведение (например, А е <^тл, В г^п,^. Тогда нормы в трех матричных пространствах o^m„, »ЖпД и &#тд могут быть согласованы таким образом, что

|ДВ«1П=^МНЖ. (14)

Это свойство согласованности мы будем также называть кольцевым свойством. В частности, при / = 1 свойство (14) означает согласованность нормы Ц* ||[ с нормами || * (|ц и || * ||щ в арифметических пространствах.

Просматривая доказательство предложения 10, мы можем заметить, что имеет место следующее

Предложение 11. Неравенство (14) справедливо при любых матрицах подходящих размеров, если нормы II * Нщ и || * ||ц являются индуцированными, а норма || * Ui — согласованной.

В связи с определением индуцированной нормы естественно возникает интерес к точной нижней грани

S(-4)-infill. (45)

Она существует, так как множество чисел вида || Д| II/ II £ II ограничено снизу нулем.

Будем предполагать, что А — квадратная матрица, и для столбцов || | И и || А11| берется одна и та же норма. Тогда имеет место

Предложение 12. Пусть И * II — индуцированная норма. Если det А =£ 0, то g (Д) = (|| А-1 И)-1. Если же det А = 0, то § И) = 0. .

Доказательство. Если det А Ф 0, то выражение (15) можно переписать в виде inf (|| т] ||/ || Д'1 т] ||), где ц = Д§. Заметим, что ц ^= 0. Далее нужно сослаться на следующее свойство точных нижних и верхних граней числовых множеств: если множество Р состоит из положительных чисел, а множество Q — из всех чисел вида р"1, где реР, то inf Q = (sup Р\Ч Предоставим читателю проверить это. Отсюда мы имеем

и первое утверждение доказано.

Второе утверждение очевидно, так как inf || Д| Л/,И § II РЭ^М, но при det А = 0 существует ненулевой столбец §е, для которого Л|0 = 0.

Наиболее употребительные нормы матриц. Посмотрим, какие нормы индуцируются в пространстве матриц теми нормами в арифметических пространствах, которые мы рассматривали в п. 1.

а) Пусть в арифметических пространствах выбраны евклидовы (или унитарные) нормы. Индуцированная ими норма носит название спектральной нормы матрицы. Это

sup МЦtTo 1115 •

В предложении 8 § 2 мы видели, что для квадратных матриц эта точная верхняя грань достигается и равна максимальному сингулярному числу матрицы А. Ниже мы увидим, что это справедливо и для прямоугольных матриц, но сначала докажем

Предложение 13. Спектральная норма матрицы не меняется при умножении этой матрицы справа или слева на ортогональную (унитарную) матрицу.

Доказательство. Умножение столбца на ортогональную матрицу не меняет его евклидовой нормы: || J7| II = II | II. Отсюда следует, что спектральная норма ортогональной (как и унитарной) матрицы равна 1. Теперь в силу предложения 4 мы можем написать

1|ДЛ||^||Д||.||Л|| = М11 и

1^1 i/-1 ц • j дл ц=ц дд I, откуда следует доказываемое для левых множителей. Для правых доказательство почти не отличается от приведенного.

Для вычисления спектральной нормы можно воспользоваться предыдущим предложением 13 и теоремой 1м § 1. Они позволяют свести вычисление спектральной нормы матрицы А размеров т X п к вычислению нормы матрицы А* вида (ср. (17) § 1):

я "до о |г

Здесь Dr — диагональная квадратная матрица порядка г = RgЛ, на диагонали которой стоят ненулевые сингулярные числа az матрицы А. При этом их нумерация такова, что ах а2 ... аг.

Рассмотрим столбец £ е ^п. Для него

/ «\1/2/ г\1/2

Ш=5(^)2) и [Л'1Н£(агЫ •

4 = 1/4 = 1/.

Отсюда, заменяя все а2,..., аг на ап получаем || Д'| II/ II | || $5 аъ причем равенство достигается в том случае, когда | = || 1, ОО Иг. Итак, доказано

Предложение 14. Спектральная норма матрицы равна ее максимальному сингулярному числу. || А || = av

Для невырожденной квадратной матрицы из предложения 12 и предложения 8 § 2 мы находим, что

М-1^^1,(16)

где а„ — минимальное сингулярное число (при det Д ^ О оно не равно нулю).

Пусть в е^т и ^„ выбраны /-нормы. Оценим II Д| ||х для столбца § Ф 0:

MSI.-SI S°№‘ « 2 (2 HUj'i^H112^112'5'1-

i \ кк \ j /\ к j ] j

Итак,

Покажем, что здесь достижимо равенство. Пусть максимум достигается при значении к = s. В качестве § выберем s-й столбец единичной матрицы порядка п. Тогда Д| есть s-й столбец матрицы А, и его /-норма равна

Поскольку ||еД=1, имеем ||Де5 у eJi = У, | = шах У, 1а' |. iк /

Следовательно, нормой, индуцированной /-нормами в арифметических пространствах, является норма

Ц Д l!f = max 2|^ |,

т. е. максимальная из сумм модулей элементов матрицы по столбцам, или, иначе, максимальная из /-норм столбцов.

Пусть в е^т и е^„ выбраны с-нормы. Оценим || Д| Ц» для столбца §0:

Ml k = max /ОтсюдаMl k = max /Отсюдаг^6кг^6к=С max У !ai 11 ^ | s^/max | ^ В max У 1а' I,i к ' v '/ / к=С max У !ai 11 ^ | s^/max | ^ В max У 1а' I,i к ' v '/ / кми»ii § I'ooми»ii § I'oo^ max^ max2шк2шк

Ml k = max /

Отсюда

Ml k = max /

Отсюда

г^6

к

г^6

к

=С max У !ai 11 ^ | s^/max | ^ В max У 1а' I,i к ' v '/ / к

=С max У !ai 11 ^ | s^/max | ^ В max У 1а' I,i к ' v '/ / к

ми»ii § I'oo

ми»ii § I'oo

^ max

^ max

2ш

к

2ш

к

Покажем, что здесь возможно равенство. Пусть максимум достигается при значении к = s. Мы хотим, чтобы s-й элемент столбца Ч = Д§ был равен

2|=;|-

Для этого достаточно выбрать § так, чтобы для всех к было выполнено а^ = | а» |. Очевидно, это всегда можно сделать, причем

II $ IL — 1* Далее, для любого столбца max | т/1 ^ tf, и мы имеем

max | т]/1 ^ 5 la’ I = max 2 |а'61,/аI к

что вместе с предыдущей оценкой дает

5“6рщт7=т,ах.Ж

Следовательно, нормой, индуцированной с-нормами в арифметических пространствах, является норма

| A flc = max £>'),/ к

т. е. максимальная из сумм модулей элементов матрицы по строкам.

Элементы матрицы размеров tn X п можно записать в виде столбца высоты тл и рассматривать для матриц те же нормы, которые были определены для столбцов в п. 2. При этом, не будучи индуцированными, эти нормы не обязательно обладают полезными свойствами индуцированных норм.

Евклидова или, в случае комплексной матрицы, унитарная норма матрицы. По определению полагаем

Элемент матрицы А ТА, стоящий в Ай строке и /-м столбце, равен ^i ^ki^kj' к'

Отсюда видно, что квадрат Ц Л Цд равен следу АТА, т. е.

|| Лк = К1гЖ4.

Аналогично доказывается, что унитарная норма комплексной матрицы

$A^ = Ktr ЛМ.

Далее мы будем говорить только о вещественных матрицах, предоставив читателю перенести результаты на комплексные матрицы.

Полученное нами выражение для (I А ||в показывает, что верно Предложение 15. Евклидова норма матрицы равна квадратному корню из суммы квадратов ее сингулярных чисел.

Предложение 16. Евклидова норма матрицы А не меняется при умножении А справа или слева на ортогональную матрицу.

Доказательство. Если U — ортогональная матрица, то ti<UA^UA = trAT^TUA = tiATA.

Поскольку евклидова норма не меняется при транспонировании, мы имеем также

М^Н(Л^гк = 1^гк = МГк = Мк.

Это заканчивает доказательство предложения.

Евклидова норма обладает, кольцевым, свойством1, если определено произведение матриц А и В, то || АВ ||£ ^ II А || Е II В ||£.

Действительно, в силу неравенства Коши — Бунякозского

5

////

для любых i и к. Суммируя эти неравенства по всем I и к, получаем || АВ life ^ [| A life II В life, что равносильно доказываемому.

Отсюда, в частности, следует, что евклидова норма согласована с евклидовыми нормами в арифметических пространствах:

Не существует такой нормы в арифметическом пространстве, которая индуцировала бы евклидову матричную норму. В самом деле, || Е ||в =

Норма J Л | —max |а( | не обладает кольцевым свойством, хотя и сохраняет единицу. Гораздо чаще используется следующая норма в пространстве квадратных матриц порядка го;

| А ^- = nmax[a'[.

Она обладает кольцевым свойством и согласована со всеми тремя основными нормами в арифметических пространствах. Докажем это.

Элемент произведения АВ можно оценить по модулю так:

2Ж ^ 2 К | Н | ^ max \ai { S Н | ^ п тах |a‘ [ max\Ык [. //l> Ijl« Jh К

Эта оценка имеет место и для максимального по модулю элемента А В. Умножая обе части неравенства на п, получаем || АВ ||с, $^ ^ II Л ||с/ || В ||^. Этим доказано кольцевое свойство.

Поскольку м2 (max | ау |)2 не меньше суммы квадратов всех элементов матрицы, рассматриваемая норма не меньше евклидовой формы. Мы видели, что евклидова матричная норма согласована С евклидовой нормой в ^п. Поэтому и норма || * 1^ согласована с евклидовой нормой в е^. .

Аналогично, норма ||лДе, не меньше, чем нормы, индуциро- ранные /-нормой и с-нормой, а потому является согласованной й /-нормой и с с-нормо^в е^., '

Норма 5|а/| для нас интеРеса не представляет. Отметим, i, /

что норма -2^! обладает свойством сохранения единицы, с /

Поэлементная сходимость. Для последовательностей в арифметическом пространстве рассматривается поэлементная (или, иначе, покоординатная) сходимость. Последовательность {£J поэлементно сходится к |0, если последовательности, образованные элементами столбцов £ъ сходятся к соответствующим элементам столбца |0:

Ит^'=^, 1== !- •••• "•

Более подробно это означает, что, каковы бы ни были положительные числа elt .... е„, найдутся такие номера ^ (еД, ..., кп (е„), что для всех i = 1, ..., п при k> ki (е;) выполнено неравенство

Легко заметить, что поэлементная сходимость совпадает со сходимостью по с-норме. Действительно, если последовательность сходится поэлементно, выбрав произвольное е > 0, положим e2 = ... = ел = е. И тогда для k> шах к; (е) будет выполнено i

max | ^ — ^ | < е, что означает сходимость последовательности по с-норме. Обратное утверждение столь же очевидно.

Из теоремы 1 и предложения 3 теперь следует, что последовательность сходится поэлементно тогда и только тогда, когда она сходится по какой бы то ни было норме.

Все сказанное выше относится и к поэлементной сходимости последовательностей матриц. Записывая элементы матрицы размеров т X п в столбец высоты тп, мы можем рассматривать пространство Мт,п как арифметическое пространство и сформулировать следующий результат.

Последовательность матриц Л6 сходится к матрице Ло поэлементно тогда и только тогда, когда она сходится к Ло по какой- либо норме. .

ГЛАВА II

ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ

§ 1. Аннулирующие многочлены

Делимость многочленов. В этом пункте мы рассмотрим необходимые для дальнейшего элементарные свойства делимости многочленов от одной переменной. Напомним (см. К., п. 1 § 1 гл. VI), что многочлены с комплексными коэффициентами образуют комплексное (а многочлены с вещественными коэффициентами — вещественное) линейное пространство по отношению к обычным операциям сложения и умножения на число. Нулевой элемент этого пространства — многочлен, тождественно равный нулю, иначе говоря, такой, у которого все коэффициенты равны нулю. Ниже мы будем называть его нулевым или равным нулю многочленом.

Кроме линейных операций в множестве многочленов известна операция умножения. Отметим, что умножение на число совпадает с умножением на многочлен нулевой степени, свободный член которого равен этому числу.

Известно, что для многочленов не существует операции деления, обратной операции умножения. Определим деление многочлена на многочлен с остатком.

Рассмотрим многочлены q и р. Пусть найдутся такие многочлены h и г, что q = hp + г, и степень г меньше степени р. Тогда h называется частным от деления q на р, а г называется остатком.

Предложение 1. Каждый многочлен можно разделить с остатком на любой ненулевой многочлен. При этом частное и остаток однозначно определены.

Докажем это предложение методом, который позволяет найти частное и остаток, и носит название алгоритма деления с остатком.

Если многочлен р отличен от нуля, то его коэффициент при наибольшей степени переменной не равен нулю, поскольку мы считаем степенью многочлена максимальную степень переменной, входящую с ненулевым коэффициентом.

Итак, даны многочлены р и q степеней т и п от переменной t

р = «о + CLyt + . . . + CLmtm,

?=₽о + ₽1/ + ... + ₽Л

и ат ^ 0. Если п < т, то мы положим Л = 0 и г = р. Рассмотрим случай п т.

Пусть Л! = — tn-m. Рассмотрим многочлен qx = q — h^p. Легко а/л

видеть, что его степень nt меньше п. Мы имеем равенство q =а = hYp + qv и, следовательно при nt <т можем положить h. = ht и г = qv В противном случае пх ^ т, и мы, поступая с qt так же, как и с q, получим равенство qx = h2p + q2, где степень п4 многочлена q2 меньше, чем nv Теперь

q = hxp + qx = (hx + ha) p + Яг-

Если n2 < m, to r = q2, h = hx + h2. В противном случае представляем q2 в виде h3p + qa. Этот процесс может продолжаться, пока степень очередного многочлена qk не станет меньше т. Такой многочлен qk обязательно будет получен, так как степени многочленов q, убывают с ростом I. Найдя qk степени, меньшей т, мы полагаем h = hx + ... + hk и г — qk. Этим существование частного и остатка установлено.

Докажем единственность. Пусть многочлен q имеет два представления в интересующем нас виде: hp + г и к'р + г*. Тогда (к— /1') р = г'—г. Если к=^к', то многочлен в левой части равенства имеет степень, не меньшую чем т, а многочлен в правой части равенства имеет степень, меньшую т. Значит к = к1, а отсюда и г = г'. Предложение доказано.

Если остаток от деления q на р равен нулю, т. е. для некоторого многочлена к имеем q = hp, то говорят, что q делится на р, или что р есть делитель q.

Нетрудно проверить следующие свойства делимости: для того чтобы произведение многочленов делилось на многочлен р, достаточно, чтобы на него делился один из сомножителей. Для того чтобы сумма многочленов делилась на р, достаточно, чтобы каждое слагаемое делилось на р. Конечно, это не необходимые условия.

Предложение 2 (теорема Безу). Многочлен р делится на двучлен t — р тогда и только тогда, когда р (р) = 0.

Остаток г от деления р на t — р имеет степень меньшую, чем степень t — р, т. е. является константой. Подставляя р в равенство р = h (t — р) + г, мы найдем г = р (р). Отсюда сразу следует доказываемое утверждение.

Определение. Многочлен d называется наибольшим общим делителем многочленов рх, ..., ps, если он является делителем каждого из них и делится на любой другой их общий делитель.

Наибольший общий делитель многочленов рх, ..., ps обозначается НОД (ръ ..., р^. Он определен с точностью до числового множителя а у= 0. Действительно, пусть многочлены рг ps имеют два наибольших общих делителя d и d'. Тогда каждый из них должен делиться на другой, и, следовательно, ни у одного из них степень не больше, чем у другого. Значит, их частное — многочлен степени 0, т. е. d' = od и а ^ 0. Наоборот, умножая

НОД(рп .... ps) на число, отличное от нуля, мы снова получаем НОД тех же многочленов.

Определение. Многочлены pv .... ps называется взаимно простыми, если НОД (рп ..., р^ имеет степень 0.

ПредложениеЗ. Для того чтобы комплексные многочлены рг, ..., ps не были взаимно просты, необходимо и достаточно, чтобы дни имели общий корень.

1°. Необходимость. Пусть указанные многочлены имеют общий делитель d ненулевой степени. Тогда каждый из них имеет вид pt = hid. Но комплексный многочлен d ненулевой степени обязательно имеет хоть один корень р. Подставляя его, получаем pi (р) = hi (р) d (р) = 0. Таким образом, р — общий корень всех многочленов.

2°. Достаточность условия непосредственно вытекает из теоремы Безу.

Для нахождения наибольшего общего делителя двух многочленов применяется следующий способ, называемый алгоритмом Евклида.

Пусть нужно построить НОД многочленов р и q степеней тип соответственно, ЙРичем т^п. Не уменьшая общности, мы можем считать, что коэффициент при tm в р и коэффициент при tn в q отличны от нуля. Разделим q на р и обозначим остаток от деления через г,. Если г, = 0, то очевидно, что НОД (р, ф = р. Если г, Д 0, то разделим р на г, и обозначим остаток через г3. Затем, если гг Д 0, разделим гА на г2 и получим остаток г5. Будем далее делить предпоследний остаток на последний до тех пор, пока после некоторого (s -|- 1)-го деления не поручится остаток, равный нулю. Это обязательно произойдет, поскольку степени Остатков постоянно уменьшаются, и если мы не получим нулевого остатка раньше, ы дойдем до остатка степени 0, на который предыдущий остаток разделится

Нацело. Таким образом, мы получаем равенства

q=hiP-\-rb(1J

p = h2r1-\-r2,(U)

rs-3 — hs_1rs_2 -]- rs_lt(h-i)

rs-i = hsrs_1-Vrs,(h)

(ha)(ha)rs-i — h+iZs-

(ha)

(ha)

Докажем, что НОД (p, qV-r^. Действительно, так как rs_t и rs делятся на rs, согласно (ls) остаток rs_2 будет делиться на rs. Тогда в силу равенства (l5_j) rs_3 делится на rs. Двигаясь далее вверх по цепочке равенств (1), мы, наконец, найдем, что на rs делятся rA и г2, а следовательно, и р, а тогда в силу (1,) и q. Таким ббразом, rs есть общий делитель многочленов р и q.

Пусть теперь d есть произвольный общий делитель многочленов р и q. Из равенства (1,) вытекает, что d является делителем остатка rj. Затем из равенства (12) мы заключаем, что г3 делится на d. Двигаясь далее вниз по цепочке равенств (1), мы получим из равенства (15), что rs делится на d. Этим утверждение Доказано.

V Алгоритм Евклида позволяет найти наибольший общий делитель любых йух нентевЫх многочленов. .Наибольший общий делитель любого числа многочленов Жйкно построить, под^оу|уъро применяя формулу

Ибй(р1, .... РзуЕнОД(НОД(рь .... Рз^, РзУ

Доказывался она не сложно, и читателю полезно будет провести это доказательство,-~.

Предложение 4. Пусть ръ ..., ps — многочлены, [ среди которых есть отличный от нуля, и d = НОД (а» ..., р$У Тогда найдутся такие многочлены щ, ..., us, что

d = U1P1 + • • • + usps.(2)

Доказательство. Обозначим через <S множество всех многочленов вида YPi + ... + f,ps, где Д, ..., fs —многочлены. S обладает следующими свойствами:

Если g, h е ^, то g + h е <S.

Если g е <S, то hg е <S, каков бы ни был многочлен h.

Разумеется, каждый из многочленов рх, ..., ps лежит в S. Отсюда, в частности, следует, что <S содержит многочлены, отличные от нуля.

В каждом множестве, содержащем ненулевые многочлены, есть многочлен минимальной степени, не равный нулю. В самом деле, степени многочленов — неотрицательные целые числа, и потому в множестве степеней ненулевых многочленов найдется минимальный элемент. Пусть d = щрх + ... + usps — ненулевой многочлен минимальной степени из <S. Тогда d есть делитель любого многочлена g из <S. Действительно, пусть g = hd + г и г ^ 0. Тогда г = g — hd и, следовательно, г лежит в $ вместе с g и d. Но степень г меньше степени d, что противоречит выбору d. Итак, г = 0 и d является делителем любого многочлена из <S, в частности, каждого из рх, .... ps.

Пусть теперь dT — произвольный общий делитель многочленов рг, ..., ps. Тогда dx является делителем каждого слагаемого в правой части равенства (2) и, следовательно, делителем d. Это заканчивает доказательство предложения.

Пример. Пусть Pi = /3 + 1, р2 = /2 — 1 • Тогда НОД (а, а) = = / + 1. Мы имеем

/+1 = 1 (/3+1)_/(/2_1).

Следствие. Многочлены рг, .... 'ps взаимно просты тогда и только тогда, когда найдутся такие многочлены щ, ..., us, что

U1P1 + • • • + usps = 1.

Определение. Пусть даны ненулевые многочлены рг, ...,ps. Многочлен q называется общим кратным этих многочленов, если он делится на каждый из них. Общее кратное многочленов p^.-Ps называется их наименьшим общим кратным, если оно является делителем любого другого общего кратного этих многочленов.

Наименьшее общее кратное многочленов рЛ, ..., р, обозначается НОК (а. .., PsY

Предложение 5. Общее кратное q многочленов рг, .... р$ является их наименьшим общим кратным тогда и только тогда, когда частные от деления q на pt, ..., ps взаимно просты.

Доказательство. Для всех t = I, ..., s частные ht определены равенствами q = И^р,. Если d — НОД (/h, .... hs) — мно-

гочлен ненулевой степени, то найдутся такие многочлены Д, ..., fs, что при всех i=l, ..., s выполнены равенства q — fidpi. Следовательно, q делится на d, и, обозначив частное через q', мы имеем /^1= ... =fsPs = Q'- Это означает, что q' — общее кратное многочленов рх, ..., р .Но его степень меньше, чем степень q, и потому оно не делится на q. Следовательно, q не есть наименьшее общее кратное.

Сбратно, пусть q*—общее кратное многочленов ръ ..., ps, но не наименьшее. Тогда его степень больше, чем степень q = = НОК (Pi, ..., р$\ В самом деле, q* делится на q, и потому его степень не может быть ниже степени q. Если бы степени q* и q были равны, то по той же причине q* отличалось бы от q на числовой множитель. В этом случае q* также было бы наименьшим общим кратным вопреки предположению.

Итак, существует многочлен / ненулевой степени такой, что q* = fq. Теперь для каждого i мы можем написать q*=fh.ipb где К, — частное от деления q на р^ Отсюда видно, что частные от деления q* на pt имеют общий делитель положительной степени. Предложение доказано.

Многочлены от преобразований. Рассмотрим л-мерное линейное пространство 56 п, не уточняя пока, вещественное или комплексное. Напомним (см. К., п. 6 § 3 гл. VI), что для линейных преобразований пространства 56п определены операции сложения, умножения на число и умножения преобразований. В частности, определено возведение линейного преобразования в целую положительную степень. Ведем дополнительно определение, согласно которому каждое линейное преобразование в нулевой степени равно тождественному преобразованию Е пространства 56 п.

Это позволяет нам подставить линейное преобразование А в качестве значения переменной / в любой многочлен р\

р (А) = а0Е + aiА + а2А2 +... + атАт.

Разумеется, полученное значение р (к) многочлена р будет также линейным преобразованием пространства 56п. Образ вектора х при этом преобразовании будет обозначаться р (А) (х) или р A(xY Значение многочлена на преобразовании А коротко называют многочленом от преобразования А.

Если в 56„ выбран базис, то преобразование А имеет матрицу А. Так как операциям с преобразованиями соответствуют те же операции с их матрицами, преобразование р (к) будет иметь матрицу

р (Л) = а0Е -)- ах Д Д- сс2Д2 -j-... -j- а,тАтп.

Выражения такого вида называются матричными многочленами.

Сложение, вычитание и умножение матриц имеют такие же основные свойства, что и те же операции с числами, за исключением коммутативности умножения. Поскольку при выводе свойств числовых многочленов не приходится делить на независимую пере-

менную, потребности в обращении матриц не возникает. При умножении матричных многочленов приходится перемножать степени рдной и той же матрицы, которые коммутативны: A‘A = ASA‘ = = Д/+\.

Отсюда следует, что алгебраические операции с матричными многочленами от одной и той же матрицы А или от коммутативных матриц обладают теми же свойствами, что и операции с числовыми многочленами. Естественно, это же утверждение распространяется на многочлены от преобразований.

Напомним, что ядром отображения (в частности, преобразования) называется множество векторов, которые оно переводит в нулевой вектор. Ядро преобразования А есть линейное подпространство, которое мы будем обозначать Кег А. Область значений А (Жп) преобразования А будем обозначать 1mA.

Предложение 6. Для любых преобразований А и В выполнено Ker A s Ker ВА. В частности, Кег A G Кег Ак при k 1.

Действительно, если х е Кег А, то А (х) = о и ВА (х) = о.

Из предложения 6 вытекает следующая формула: если q — общее кратное многочленов ръ .... ps, то

Кег pt (А) с Кег q (А)

для всех i = l, .... s.

Если каждое из подпространств Кег Pi (А) лежит в Кег q (А), то там же лежит и их сумма. Поэтому

сможем написать

pt (х.) = Ptuth№ = и^ ^ = 0.

Это заканчивает доказательство предложения.

Пусть d — общий делитель многочленов ръ ..., р$. Это означает, что при каждом i найдется многочлен hi такой, что pi = hid. Поэтому предложение 6 показывает, что Ker d (А) принадлежит каждому из подпространств Ker pt (А), а значит, и их пересечению!

Ker d (А) с Q Ker pt (А).(4)

( = 1'

Предложение 8. Если d = НОД (.рх, .... р^, то

Kerd(A) = f] КегрДА).

i=i

Ввиду формулы (4) нам остается доказать только то, что каждый вектор из пересечения пространств Кег р, (А) принадлежит Кег d (А). Для доказательства напишем d в виде d = uYpv + ... ...+ usps. Отсюда dA = и^р^ + ... + и^р^. Применим обе части этого равенства к произвольному вектору и х из пересечения. Мы получим

dА (х) = ufрА (%) +... + идрк (х) = 0>

что равносильно доказываемому утверждению.

Если многочлены рп ..., ps взаимно просты, то d (А) = Е. Но Кег Е = о. Поэтому из предложения 8 вытекает

Следствие. Для взаимно простых многочленов

S

И Ker pi ^ = о.

i=i

Минимальный аннулирующий многочлен преобразования. Преобразование О линейного пространства Жп называется нулевым, если оно сопоставляет каждому вектору нулевой вектор. Это равносильно тому, что ядро этого преобразования совпадает со всем пространством Хп.

Определение. Ненулевой многочлен р мы будем называть аннулирующим преобразование А или аннулирующим многочленом преобразования А, если р (А) = О.

Очевидно, что р — аннулирующий многочлен преобразования А тогда и только тогда, когда Кег р (А) = Хп.

Каков бы ни был базис в пространстве 56 п, нулевое преобразование имеет нулевую матрицу О. Поэтому матрица А преобразования А удовлетворяет уравнению р (А) = О в том и только том случае, когда р — аннулирующий А многочлен.

Предложение 9. Для каждого линейного преобразования к существует аннулирующий его многочлен.

Доказательство. Пусть А — матрица преобразования А в каком-либо базисе. Среди неотрицательных целых степеней матрицы А не более чем п2 линейно независимых, так как вообще не может быть больше чем п2 линейно независимых матриц порядка п. Пусть а0, ..., ат — коэффициенты равной нулю нетривиальной линейной комбинации степеней матрицы А. Тогда

ctgE Н-атА -)-... -)- сх,ткт = О,

что и заканчивает доказательство предложения.

Говоря об аннулирующих многочленах, мы стоим на точке зрения, отличной от принятой в элементарной алгебре. Там интересуются корнями заданного многочлена, мы же рассматриваем множество многочленов, значения которых при данном А равны нулю.

Множество Д всех многочленов, аннулирующих данное преобразование А, обладает следующими легко проверяемыми свойствами:

Если g, h е Д, то g + h s Д.

Если g е Д, то gh е Д, каков бы ни был многочлен й.

Этими же свойствами обладает множество S, определенное нами при доказательстве предложения 4. Опираясь на них, мы доказали, что в этом множестве существует многочлен минимальной степени, который является делителем всех остальных многочленов. То же самое рассуждение приведет нас к следующему предложению.

Предложение 10. Среди многочленов, аннулирующих преобразование к, существует многочлен минимальной степени, который является делителем всех аннулирующих А многочленов. Этот многочлен определен с точностью до числового множителя.

Определение. Многочлен, описанный в предложении 10, называется -минимальным многочленом преобразования А, если его старший коэффициент равен 1.

Пример. Пусть преобразование А в некотором базисе задано матрицей

10 0 0 Д _ ° 1 0 0 — 0 0 2 0 • '0 0 0 2

Докажем, что многочлен t2 — 3/ + 2 = (/ — 1) (/ — 2) есть минимальный многочлен преобразования А. Действительно, он аннуДокажем, что многочлен t2 — 3/ + 2 = (/ — 1) (/ — 2) есть минимальный многочлен преобразования А. Действительно, он аннулирующий, так как(А-£)(А-2£) =лирующий, так как(А-£)(А-2£) =О о о оО о о оо о о оо о о оо о1оо о1о0—10—1о о1о о1о о оо о оо о—1 о о о о оо о—1 о о о о оо о о оо о о о

Докажем, что многочлен t2 — 3/ + 2 = (/ — 1) (/ — 2) есть минимальный многочлен преобразования А. Действительно, он анну

Докажем, что многочлен t2 — 3/ + 2 = (/ — 1) (/ — 2) есть минимальный многочлен преобразования А. Действительно, он анну

лирующий, так как

(А-£)(А-2£) =

лирующий, так как

(А-£)(А-2£) =

О о о о

О о о о

о о о о

о о о о

о о

1

о

о о

1

о

0—1

0—1

о о

1

о о

1

о о о

о о о

о о

—1 о о о о о

о о

—1 о о о о о

о о о о

о о о о

Если бы нашелся аннулирующий многочлен первой степени ? — а, то матрица Л должна была бы удовлетворять равенству Л —аЕ = 0, откуда следовало бы а = 1 и а = 2.

Нильпотентные преобразования. Дадим следующее

Определение. Линейное преобразование В линейного пространства Ж называется нильпотентным, если его минимальный многочлен имеет вид I1. Число I называется показателем нильпотентности.

Таким образом, если I — показатель нильпотентности, то В' (х) =о для любого Jt из Ж, но найдется такой вектор иеК, что Bz-1 (у) ^ о. Разумеется для некоторых х окажется, что В^ (х) = о при h < I.-

Обратим внимание на то, что все собственные значения нильпотентного преобразования равны нулю. Действительно, для собственного вектора х имеем Bz (х) = Xzx = о, откуда X = 0. Поэтому для нильпотентного преобразования все собственные векторы вместе с нулевым вектором составляют ядро Кег В.

Предложение 11. Пусть В — нильпотентное преобразование и для вектора х при некотором h выполнены условия Вл-1 (х) =/= о и Вл (х) = о. Тогда векторы х, В (х), ..., Вл-1 (х) линейно независимы.

Для доказательства предположим, что векторы линейно зависимы и а; (i 5а 0) — первый отличный от нуля коэффициент в их нулевой линейной комбинации

аох + • • • + «/В' (х) +... + cCiB^1 (х) = о.(5)

Из условия следует, что i <_h— 1, и мы вправе рассматривать преобразование В^''1. Подействуем им на обе части равенства (5). Мы получим а;ВА-1 (х) = о, откуда следует аг = 0 вопреки предположению. Предложение доказано.

' Следствие 1. Любой набор векторов х, В (х), ..., В7 (х), кончающийся ненулевым вектором, линейно независим, так как он может быть расширен до линейно независимого набора.

Следствие 2. Показатель нильпотентности не превосходит размерности пространства.

Определение. Подпространством, циклическим относительно нильпотентного преобразования В, мы назовем линейную оболочку векторов х, В (х), ..., ВА-1 (х), если ВА-1 (х) ^ о и ВЛ (х) = = о. Мы будем говорить, что циклическое подпространство порождается вектором х.

Согласно предложению 1 указанные в определении векторы образуют базис в циклическом подпространстве. Мы назовем этот базис циклическим базисом (порождаемым вектором х).

Предложение^. Пусть % — циклическое подпространство размерности h, порождаемое вектором х. Тогда при г <^h подпространство ВЛ (2) циклическое. Оно порождается векто-

ром Вг (х) и имеет размерность h — г. Если же г ^ h, то подпространство Вг (5) нулевое.

Доказательство, Пусть у = аох + ах В(х) + ... ... + «л-гВ*-1 (х) — произвольный вектор из 2. Тогда в силу ВА (х) = о образ вектора у имеет вид В (у) = а0 В (х) + ... ...*+ аЛ_2Вй-1 (х). По предложению 11 векторы В (х), .... Вй-1 (х) составляют базис в В (2). Поэтому В (2) — циклическое подпространство, порождаемое вектором В (х), и dim В (2) = h — 1, если только h > 1. Применяя этот результат последовательно г раз, мы получим нужное заключение.

Следствие. Каждое циклическое подпространство инвариантно относительно преобразования В.

Действительно, из предложения 12 Имеем В (2) ед 2.

Жорданова нормальная форма

Корневые подпространства. Мы будем рассматривать комплексные линейные пространства, хотя частично наши результаты будут справедливы и для вещественных пространств. Собственно, Вам потребуется предположение, что минимальный многочлен изучаемого линейного преобразования допускает следующее разложение на множители:

p^ = (t-Mkl-..(t-^. (1)

Здесь натуральные числа ^, ..., ks — кратности корней Xlf ..., Xs. Их сумма ^ + ... 4*^« равна степени минимального многочлена. Корни Хь ..., Х^ мы предполагаем попарно различными.

Любой многочлен имеет разложение вида (1), если в качестве X,- допускаются комплексные числа. Поэтому дальнейшие результаты будут справедливы для любого линейного преобразования в комплексном пространстве и только для тех линейных преобразова- Вий в вещественном пространстве, у которых минимальный многочлен имеет лишь вещественные корни.

Определение. Корневыми подпространствами преобразования А называются подпространства <%4 = Кег (А — Х,-Е)/г«, I = 1, ..., s, где числа Х; и /г; определены разложением (1) для минимального многочлена преобразования А.

Предложение 1. Корневые подпространства преобразования А инвариантны относительно этого преобразования.

Каждый многочлен от А перестановочен с А. Поэтому ядро йюбогВяногочлена от А будет инвариантно относительно А (предложение 1 § 3 гл. I). В частности, это относится к многочленам (А -

Нац^а ближайшая цель — доказать теорему о разложении пространства в прямую сумму корневых подпространств. Для , ^0(&ДХ^99СТаП9ВИТЬся на свойствах прямых сумм,

В К., п. 3 § 2 гл. VI было дано определение прямой суммы двух подпространств. Так была названа сумма подпространств Ж* + Ж* при Ж' f| Ж" = о. На произвольное число подпространств это определение распространяется так:

Определение. Сумма подпространств Ж (1> + ... + Ж^ называется прямой суммой и обозначается ^(1) ® ... © Ж^ или

© Ж^, если i = 1

Ж'6) 0 2 ^(<) = одля всех А = 1, ..., s.

Легко видеть, что в этом случае

Ж™ ©... © Ж'^ = (№ ©... © жи-^ © Ж^, / = 2, ..., S.

Используя эту формулу и свойства прямой суммы двух подпространств, по индукции нетрудно доказать, что объединение базисов подпространств Ж^ образует базис в их прямой сумме. Отсюда, в частности, следует, что размерность прямой суммы равна сумме размерностей слагаемых.

Каждый вектор суммы подпространств раскладывается в сумму ^jXb где Xi е Ж^. В случае прямой суммы такое разложение единственно. Действительно, из существования для вектора » двух различных разложений такого вида х = ^х, = Ули вытекало бы, что У (х, — уЬ = о, а из этого равенства нетрудно получить линейную зависимость векторов из объединения базисов подпространств Ж^.■

Предоставим читателю проверить, что все перечисленные здесь свойства прямой суммы являются характеристическими, т. е. равносильны определению прямой суммы.

Теорема 1. Если к — линейное преобразование комплексного линейного пространства Жп, то Ж'п — прямая сумма корневых подпространств 9£t преобразования к.

Доказательство. Запишем для краткости разложение (1) минимального многочлена преобразования А в виде р = = blb2...bs и обозначим через gy частное от деления р на Ь(1 т. е. gj = bi... bbibm ...bs.

Так как ни один корень не является общим для всех многочленов gi, .... gs, они взаимно просты в силу предложения 3 § 1. Поэтому, согласно предложению 5 § 1, р = НОК (blf .... b.).

Поскольку Кег р (А) = ЖП1 из предложения 7 § 1 имеем

Жп = ^ Kerb,(А) = 5 ^t.(2)

z=i<=1

Аналогично доказывается, что-

Kergy = 2 ^

Многочлены Ь, и g, взаимно просты. Поэтому, согласно следствию из предложения 8 § 1, 95 f П Ker gj = о. Таким образом,, сумма (2) прямая, и теорема доказана.

Пусть е — базис пространства Хп^ являющийся объединением базисов корневых подпространств. Как нетрудно.доказать (ср. К., п. 2 § 4 гл. VI), инвариантность подпространств S^i приводит к тому, что матрица преобразования А в базисе е имеет вид, который называют блочно диагональным или клеточно диагональным;

(3)

Здесь Дп ..., Д^—квадратные матрицы порядков тъ ..., ms, равных размерностям корневых пространств. При этом тг + ... ...+ ms — п. Матрицы Д; (t = 1, .... s) являются матрицами ограничений преобразования А на подпространствах 8£t.

Клеточно диагональную матрицу (3) мы будем записывать также символом diag (Дь ..., ЛД.

Детерминант клеточно диагональной матрицы С = diag (С^ ... ..., СД равен произведению детерминантов диагональных клеток Съ ..., Cs. Для доказательства этого предложения индукцией по порядку матрицы достаточно разложить детерминант матрицы С по первой строке и применить предположение индукции к каждому минору в полученном разложении.

Используем этот результат для вычисления характеристического многочлена преобразования А. Пусть А — матрица А в базисе, являющемся объединением базисов корневых подпространств. Тогда

<7(Х) = бе1(Д-Х£) = Пбе1(Д/-ХЕт),(4)

<=i1

где Ет — единичная матрица порядка т^

Таким образом, характеристический многочлен преобразования равен произведению характеристических многочленов его ограничений на корневых подпространствах.

Рассмотрим какое-нибудь одно корневое подпространство .Ж", =* = Кег (А — ХгЕ)Ч Пусть р — собственное значение ограничег ния А на этом подпространстве, ах — соответствующий собственный вектор. Подействуем на вектор х преобразованием А — ХгЕ, Мы получим

(А — Х,Е) (х) = А (х) — Xtx = рх — Xtx = (р — Х^ х.

Отсюда вытекает, что

(А - 1,ЕЛ (х) = (р - X^v х - о.

Или, поскольку х^о,,

р = X,-.

Таким образом, мы видим, что все корни характеристического многочлена ограничения А на eKt совпадают с Хг, и потому этот характеристический многочлен имеет вид

р; (X) = (X,- - Хр.

Согласно формуле (4) находим характеристический многочлен А

y(X) = (X1-X)mi...(Xs-Xn.(5)

Отсюда вытекает

Предложение 2. Множество корней минимального многочлена преобразования к совпадает с множеством корней его характеристического многочлена. Кратности корней в характеристическом многочлене равны размерностям корневых подпространств.

Обозначим через В,- ограничение преобразования А — Х,Е на корневом подпространстве Ж,, соответствующем корню Хг. Тогда, согласно определению корневого подпространства, В/ нильпотентно и показатель его нильпотентности не превосходит кратности kt корня X,- в минимальном многочлене.

Предложение 3. Показатель нильпотентности U преобразования В, в точности равен кратности корня Хг в минимальном многочлене.

Предположим противное: It < kt- Рассмотрим многочлен

р (£)=а - V1... q - -к^ ...a-

и подействуем преобразованием р (А) на произвольный вектор х пространства ^я, который мы представим разложенным в сумму векторов, принадлежащих корневым подпространствам: х = хТ + ... ... + xs. Мы имеем

p^tx^p^^ + .-.-Vp^M.(6)

Для вычисления каждого слагаемого переставим в р (А) на последнее место тот сомножитель, который обращает в нуль вектор х,, входящий в это слагаемое. Так мы покажем, что все слагаемые, включая рк (х^, равны нулю, и, следовательно, р^ (х) = о для любого х из 56 п. Но степень р меньше степени минимального многочлена, что противоречит определению последнего. Предложение доказано.

Из предложений 2 и 3 и следствия 2 предложения 11 § 1 вытекает, что кратности корней в минимальном многочлене не превосходят их кратностей в характеристическом многочлене

к, ^ ть

Отсюда следует, что характеристический многочлен делится на минимальный, и мы приходим к такой теореме.

Теорема 2 (Гамильтона — Кэли). Характеристический многочлен преобразования является его аннулирующим многочленом.

Эта теорема имеет матричную формулировку:

Теорема 2м. Каждая матрица удовлетворяет своему характеристическому уравнению.

Простое доказательство теоремы Гамильтона — Кэли получено в результате длительного исследования свойств преобразований. В литературе (см., например, [21]) читатель может найти и непосредственные ее доказательства. Впрочем, эта красивая теорема используется довольно редко.

Жордановы цепочки. В следующих трех пунктах мы будем изучать одно фиксированное корневое подпространство <%Д и ограничение В,- преобразования А — Х,Е на нем. Поскольку значение i будет только одно, мы будем пропускать этот индекс для сокращения записи. Итак, рассматривается m-мерное пространство Ж и нильпотентное преобразование В этого пространства, имеющее показатель нильпотентности к.

Мы докажем, что пространство 9С распадается в прямую сумму подпространств, циклических относительно В. Для этого мы построим циклические базисы, объединение которых составляет базис в Ж.

Пусть для некоторого вектора ВА (х) =# о, ВЛ+1 (х) — о. Введем следующие обозначения для векторов циклического базиса: ■

ВЛ(х) = е°, В'1-1 (х) = е1, .... В(х) = еА-1, х = еЛ.

Нетрудно заметить, что вектор е° — собственный для В, так как В (е°) = ВЛ+* (х) = о.

Определение. Пусть какие-то векторы е1, .... е' вместе с собственным вектором е° удовлетворяют условиям

В(е1) = е°, В(е2)-е1, В^Д-е^1. (7)

Тогда они называются соответственно первым, вторым и т. д. присоединенными к е° векторами. Говорят также, что е°, е1, ..., eh образуют жорданову цепочку с началом в е°.

Легко видеть, что каждый циклический базис состоит из собственного и присоединенных к нему векторов. Обратно, каждая Жорданова цепочка образует циклический базис, в чем нетрудно убедиться, подставляя равенства (7) одно в другое.

Предложение 4. Вектор е9 имеет ровно h присоединенных (т. е. является началом цепочки из h + 1 вектора) тогда и только тогда, когда

е° е Im В^ П Кег В, e°^ImBft+1.

Действительно, как отмечалось на стр. 61, включение е° е е Кег В равносильно утверждению, что вектор е° собственный. Если е° е Im ВЛ, то найдется такой вектор х, что е° = Вл (х).

Циклический базис, порождаемый вектором х, дает нам нужную1 цепочку. Условие в0 ф Im Вл+1 означает, что не найдется цепочки большей длины, начинающейся с в0.

Обратное утверждение доказывается аналогично.

Нахождение начальных векторов цепочек. Из предложения 4 видно, что подпространства Im ВЛ Q Кег В для различных К должны играть большую роль в построении цепочек. Мы обозначим Im ВЛ П Кег В через <^h.

Так как вектор Вл+1 (х) можно представить в виде Вл ( В(х)), мы имеем включения

^В^ЕТтВ^Е.-.Е^В^^В. (8)

Если к — показатель нильпотентности, то Im Bft-1 s Кег В, т. е. е^-1 = Ьт В*-1. Пересечения подпространств из системы (8) с подпространством Кег В, очевидно, вложены одно в другое таким же образом, как и сами подпространства. Итак,

Im в6-1 = Д?м г й%к^ s ... ^ Д1 Е Кег В. (9)

Выберем в пространстве собственных векторов Кег В базис, связанный с системой пространств (9). В первую очередь отнесем к этому базису все векторы какого-нибудь базиса в е^-1. Далее, присоединим линейно независимые от предыдущих векторы из аФ''-2, затем из Д’6-3 и т. д. Вектор из какого-либо пространства е%’Л-1 может быть включен в базис только тогда, когда в <^h больше нет векторов, которые не раскладывались бы в линейную комбинацию векторов, уже отнесенных к базису. Таким образом, для любого h каждый вектор из <^h раскладывается по векторам базиса, лежащим в ^к.

Описанный процесс добавления векторов закончится, когда будет построен базис в Кег В. Последними, если потребуется, будут включены в базис векторы из Кег В, не лежащие в Im В. Обозначим так построенный базис через е° = Це?, ..., вр ||.

Разложение корневого подпространства в сумму циклических. Если к каждому вектору базиса в0 добавить цепочку присоединенных к нему векторов, мы получим следующую систему векторов в пространстве е^:

В0, В18-Р.

Предложение 5. Система из собственных и присоединенных к ним векторов линейно независима, если входящие в нее собственные векторы линейно независимы.

Докажем это индукцией по числу векторов в системе. Если в ней только один вектор, то он — собственный, и утверждение очевидно.

Предположим, что утверждение справедливо для любых систем вида (10), содержащих не более /V — 1 вектора. Для некоторой системы вида (10), содержащей N векторов, составим произвольную линейную комбинацию, равную нулю:

а®е? + а}е} +... + а^е?1 +

+ а2еа + а.2е.2 + • • • + ^"бд2 +

+ а°рер + арер + • • • + аИР = °-(11)

Докажем, что эта линейная комбинация тривиальная. Подействовав на обе части равенства (11) преобразованием В, мы получим с учетом (7)

10 ,, ft, ft, — 1 .

а1е1 + • • • + а1 6]+

+ a.2eg. , + ccg2eg2 *+,

Здесь написано равенство нулю линейной комбинации векторов, входящих в систему вида (10) из меньшего числа векторов (длина каждой цепочки уменьшена на 1). Следовательно, все коэффициенты последней линейной комбинации равны нулю. Если мы учтем это в равенстве (11), то оно сведется к следующему:

а?г? + .-+^ = о.

Поскольку собственные векторы линейно независимы, оставшиеся коэффициенты также равны нулю. Предложение доказано.

Предложение 6. Каждый вектор пространства 9? раскладывается в линейную комбинацию векторов системы (10).

Для удобства доказательства будем говорить, что вектор х из <%" имеет высоту h, если х е Ker ВЛ. Каждый ненулевой вектор имеет некоторую высоту h, 1 ^ h ^ к, так как В нильпотентно с показателем нильпотентности к. Мы докажем предложение индукцией по высоте вектора.

Ненулевой вектор высоты 1 собственный, и по построению системы е° он раскладывается по векторам elвр.

Допустим, что утверждение справедливо для векторов высоты к, и докажем его для произвольного вектора х высоты к + 1. С этой целью рассмотрим вектор х0 = ВЛ (х). Очевидно, что х0 е Кег В, так как В (Вл (х)) = о. Поэтому х0 е е^л = Im Вл f) Ker В.

Система векторов е° построена так, что каждый вектор из е^» раскладывается по тем векторам этой системы, которые принадле-

жат ^h. Поэтому в системе е° найдутся векторы е^, ..., еа из е^д такие, что

Xq = £1^ + • • • + ^а^^.

Но векторы из ^h имеют й-е присоединенные, для которых е® => = Вл^у, ..., е«а = Вл (е«а). Итак, мы имеем

вл (х) = цв" ^ +... + ^„в" Щ.

Отсюда мы можем заключить, что вектор у = х — ^е^ — ..". ... — £oe£ лежит в Кег ВЛ, т. е. имеет высоту h и удовлетворяет предположению индукции. Поэтому он раскладывается по системе векторов (10). Отсюда сразу вытекает, что и х раскладывается по этой системе.

Предложения 5 и 6 показывают, что нами построен базис пространства »С, который является объединением циклических базисов. Этот базис называется жордановым базисом пространства 95 для нильпотентного преобразования В.

Из того, что линейная оболочка каждой цепочки векторов — циклическое пространство, мы получаем следующую теорему.

Теорема 3. Пространство 95, в котором задано нильпотентное преобразование В, распадается в прямую сумму подпространств, циклических относительно В.

Размерности циклических прямых слагаемых. Разложение, имеющее место в силу теоремы 3, далеко не единственно. Однако число слагаемых в прямой сумме и их размерности определены однозначно. Доказательство этого факта начнем со следующего простого предложения.

Предложение 7. Если пространство 95 двумя способами разложено в прямую сумму циклических подпространств, то число ненулевых слагаемых в обоих разложениях одинаково.

Действительно, пусть

^Гц © • • • ® ^йр = ^Ц © • •1 © ^10-(12)

Сумма размерностей подпространств в правой и левой частях равенства равна размерности 95 \'

РС

■i=i /=i

Подействуем преобразованием В на оба разложения. Мы получим два разложения пространства В (<%*):

B(^)®...®B(gfip)=B(g/j®...®B(g4(13)

Сумма здесь будет прямой, так как циклические подпространства инвариантна, и любой вектор из пересечения их образов должен лежать в их пересечении, т. е. быть нулевым.

Для разложения (13) подсчет размерностей, согласно предложению 12 § 1 дает (йц — 1) + ... + (йр — 1) = Цг — 1) + ... + (/о — 1) или m — р = m — о, откуда о = р.

Теорема 4. Пу^ть пространство Ж двумя способами (12) разложено в прямую сумму подпространств, циклических относительно нильпотентного преобразования В. Тогда, если одно из разложений содержит t слагаемых какой-либо размерности h, то второе разложение тоже содержит ровно t слагаемых размерности h.

Доказательство. Пусть hY — минимальная из размерностей циклических подпространств, встречающихся хоть в одном из разложений (12). Предположим для определенности, что ровно ^ пространств такой размерности входит в левое разложение. Подействуем на обе части равенства (12) преобразованием ВЛ1. Мы получим два разложения пространства ВЛ1 (Ж) в прямую сумму циклических пространств:

в"1 е... е в"1 (5Ар)=вй- ^ е... ® в^ (g,o).

В левой части равенства осталось р — tv ненулевых слагаемых. Столько же их должно остаться и в правой части. Значит, и в правой части исходного разложения было ровно 1г пространств размерности hv

Пусть, далее, теорема доказана для размерностей, которые не превосходят h — 1, и левое разложение содержит t подпространств размерности h. Подействуем на обе части равенства (12) преобразованием Bh. Оно обратит в нуль все слагаемые в обеих частях равенства, размерности которых ^h. Поскольку в полученном равенстве в обеих частях будет одно и то же число слагаемых, общее число пространств размерности, не большей h, одно и то же в обоих разложениях (12). В силу предположения индукции, это означает, что правая часть равенства (12) содержит ровно t подпространств размерности h.

Вид матрицы нильпотентного преобразования в жордановом базисе. Рассмотрим сначала ограничение нильпотентного преобразования В на циклическом подпространстве 2 размерности h. Если в качестве базиса в 1 выбрана цепочка векторов .... еь-1, то в силу соотношений (7) матрица ограничения В на g имеет вид

7(0) =7(0) =0 1о... о0 О 1... о0 1о... о0 О 1... оО О О ... 1ООО оО О О ... 1ООО о(14)(14)

7(0) =

7(0) =

0 1о... о

0 О 1... о

0 1о... о

0 О 1... о

О О О ... 1

ООО о

О О О ... 1

ООО о

(14)

(14)

так как столбцы матрицы преобразования — координатные столбцы образов базисных векторов.

Пусть теперь в пространстве Ж выбран базис (10). Так как на каждую из составляющих его цепочек натянуто инвариантное под-

пространство, матрица преобразования В в этом базисе будет кле- точно диагональной diag (^ (0), ..., /р (0)), где Jv (0)— клетка вида (14) порядка hv (v = 1, .... р).

Теорема Жордана. Вернемся теперь от изучения одного корневого подпространства к рассмотрению всего пространства 5Сп. Каждому корневому подпространству Жц соответствует корень минимального многочлена Х, и преобразование В; — ограничение преобразования А — 7^Е на этом корневом подпространстве.

Определение. Жордановым базисом пространства %п для преобразования А называется объединение жордановых базисов корневых подпространств, построенных для преобразований В; этих подпространств.

Найдем матрицу преобразования А в жордановом базисе. Начнем с построения матрицы Az ограничения А на каком-нибудь циклическом подпространстве 5. Заметим предварительно, что говорить об этом ограничении имеет смысл, так как циклическое подпространство, будучи инвариантным относительно преобразования В,, будет инвариантным и относительно А.

В силу определения преобразования В,- его матрица равна А я— XiE, где Е— единичная матрица порядка h, равного размерности 5. Но матрица преобразования В;, как мы показали, имеет вид (14). Следовательно,

Xi1о... о

А^ — J (0) -р Х;Е =А^ — J (0) -р Х;Е =ОХг 1ОXiОХг 1ОXi0Xi1 ... о

А^ — J (0) -р Х;Е =

А^ — J (0) -р Х;Е =

ОХг 1

ОXi

ОХг 1

ОXi

Эту матрицу мы обозначим J (Х;) и будем называть жордановой клеткой порядка h с собственным значением А

В действительности, легко заметить, что матрица У (Х;) имеет единственное характеристическое число Xt. Кроме того, начальный вектор цепочки, на которую натянуто подпространство s, является собственным вектором ограничения А на 5, а следовательно, и преобразования А. Это прямо следует из вида первого столбца матрицы J Q^Y

Каждое корневое пространство есть прямая сумма циклических подпространств. Поэтому для матрицы А, ограничения А на корневом подпространстве имеем

A-diag^^), ...» ЛДк$).(15)

Порядки клеток равны размерностям циклических подпространств, в прямую сумму которых распадается 3£t.

Матрица А преобразования А в объединении базисов корневых подпространств равна, как мы видели,

diag^i, .... А).

Мы можем подставить сюда выражения (15) для каждой матрицы Л;-: Л = diag(71 (М), .... Jp,M\ (16)

Словами этот результат можно описать так:

Предложение 8. Матрица преобразования А в его жордановом базисе есть клеточно диагональная матрица. Ее диагональные клетки — жордановы клетки порядков, равных размерностям циклических подпространств, на которые распадаются все корневые подпространства, с собственными значениями, равными соответствующим корням минимального многочлена преобразования А.

Определение. Матрицу вида (16), описанную в предложении 8, мы будем называть жордановой матрицей. Нахождение матрицы линейного преобразования в его жордановом базисе называется приведением матрицы этого преобразования к жордановой нормальной форме.

Очень существенно, что для нахождения жордановой нормальной формы матрицы преобразования нам нужно знать только корни характеристического многочлена с их кратностями, а также размерности циклических подпространств. Характеристический многочлен инвариантен (К., предложение 3 § 4 гл. IV), а размерности циклических подпространств однозначно определены в силу теоремы 4. Мы приходим к следующей теореме, называемой теоремой Жордана.

Теорема 5. Для каждого преобразования А комплексного линейного пространства Хп существует базис, в котором его матрица имеет жорданову нормальную форму. При этом жорданова нормальная форма матрицы однозначно определена по преобразованию с точностью до порядка, в котором расположены диагональные клетки.

Замечания и следствия. Как и все теоремы о линейных преобразованиях, теорема Жордана может быть сформулирована в терминах матриц. Матрицы Л и Л' называются подобными, если существует такая невырожденная матрица S, что Л' = 5-1Л5.

Теорема 5м. Каждая матрица подобна некоторой жордановой матрице. Для подобия матриц А и А' необходимо и достаточно, чтобы соответствующие жордановы матрицы совпадали с точностью до порядка следования клеток.

Необходимость условия очевидна, так как две подобные матрицы можно рассматривать как матрицы одного и того же линейного преобразования в разных базисах. Для доказательства достаточности заметим, что жордановы матрицы J и J' с различным порядком следования клеток подобны. Действительно, соответствующая матрица S есть матрица замены базиса, состоящей в перестановке базисных векторов. Поэтому мы имеем А = Р"ЧР, А* = Q^J'Q и Г = S-US, откуда А' = Qr^PAP-^SQ. -

Жорданова нормальная форма — не единственная нормальная форма, к которой можно привести матрицу линейного преобразо-

вания. В литературе (см., например, Мальцев [21]) читатель найдет другие нормальные формы матрицы линейного преобразования, в частности нормальную форму, к которой приводится матрица любого линейного преобразования в вещественном линейном пространстве..

Из формулы (9) следует, что максимальная длина цепочки в некотором корневом пространстве 9Ct равна показателю нильпотентности соответствующего преобразования В/, который совпадает с кратностью корня Xz в минимальном многочлене. Отсюда следует Предложение 9. Максимальный порядок клетки с собственным значением К, равен кратности корня X,- в минимальном многочлене.

Хорошо известно, что не для каждого линейного преобразования существует базис, в котором его матрица имеет диагональный вид. Теорема Жордана указывает нам простейший вид, к которому приводится матрица каждого линейного преобразования в комплексном пространстве. Он отличается от диагонального тем, что выше главной диагонали в параллельном ей ряду могут быть на некоторых местах расположены единицы. Диагональная матрица — частный случай жордановой матрицы.

Определение. Линейное преобразование мы назовем преобразованием простой структуры (или с простым спектром), если его минимальный многочлен не имеет кратных корней.

Из предложения 9 вытекает следующее

Предложение 10. Линейное преобразование имеет в некотором базисе диагональную матрицу тогда и только тогда, когда оно является преобразованием простой структуры.

По поводу этого предложения уместно вспомнить пример на стр. 60.

Жорданову матрицу можно представить как сумму диагональной матрицы и клеточно диагональной

В = diag (4(0), .... 4/0)).

Докажем, что Вг = О, если г — максимальный порядок клетки. Действительно, при возведении любой»клеточно диагональной матрицы diag (Ci, .... Cs) в степень г мы получаем матрицу diag (С', ... ..., С/ В этом можно убедиться по определению умножения матриц. Диагональные клетки — матрицы нильпотентных преобразований, и потому при возведении в степень, большую или равную их порядку, обращаются в нуль. Таким образом, матрица В является матрицей нильпотентного преобразования.

Предложение 11. Каждое линейное преобразование комплексного линейного пространства представимо как сумма преобразования . простой . структуры и нильпотентного преобразования, которые коммутируют между собой.-

Основная часть предложения — существование такого представления — непосредственно вытекает из предыдущих рассуждений. Для доказательства коммутативности заметим, что диагональная матрица, о которой шла речь выше, может рассматриваться как клеточно диагональная. При этом каждая ее клетка только множителем отличается от единичной матрицы того же порядка и потому коммутирует с соответствующей клеткой нильпотентной матрицы.

Построение жорданова базиса. Приведенное доказательство теоремы Жордана эффективно, т. е. содержит способ построения жорданова базиса. Тем не менее имеет смысл остановиться еще раз на действиях, которые необходимы для того, чтобы построить жорданов базис для линейного преобразования, заданного в некотором базисе матрицей А. При этом мы не будем затрагивать чисто вычислительную сторону вопроса.

В частности, мы будем предполагать, что можем найти корни характеристического многочлена, матрицы Л и их кратности. Это как раз то, с чего должно быть начато построение жорданова базиса. Описанная далее последовательность действий применяется к каждому из корней характеристического многочлена.

Для корня X* мы составляем матрицу А — Х*Е. Если Rg (Л—Х*Е) > п— т, где т— кратность корня X*, мы возводим матрицу А — VE в степени 2, 3, ..., пока не найдем такую степень к, для которой Rg (Л — Х*Е)* = п — т. Это число к является кратностью корня X* в минимальном многочлене. (Если Rg (Л — Х*Е) = п — т, то корень минимального многочлена простой.) В самом деле, если матрица А имеет жорданову форму, то в матрице А — Х*Е нильпотентными будут те и только те клетки, которые соответствуют корню X*. Остальные клетки будут невырожденными. В матрице (Л—VEy клетки, соответствующие X*, обратятся в нуль, и ранг (Л — VE)6 окажется равным п — т. Поскольку ранг этой матрицы не зависит от выбора базиса, условие на ранг (Л — Х*Е)Ь будет тем же и в произвольном базисе.

Рассмотрим столбцы, в которых расположен базисный минор матрицы (Л — Х*^)6'1. Их линейная оболочка есть Im (А—Х*Е),г-1. Корневое подпространство нам не известно, но мы найдем подпространство e^Vi (см. формулу (9)), если найдем пересечение Im (А — Х*Е)6-1 с подпространством § (X*) собственных векторов, принадлежащих корню X*. Выделяем максимальную линейно независимую систему векторов в е%к-г. Это те собственные векторы, с которых начинаются цепочки максимальной длины к. Если общее число векторов в этих цепочках меньше /и, рассматриваем пересечение = Im (Л — Х*^*-2 П® (X*). Дополним уже выбранные ранее собственные векторы до базиса в 6%^. Вновь добавленные собственные векторы служат началами цепочек длины к — 1. Если общая длина всех цепочек меньше т, продолжаем построение новых собственных векторов последовательно из пространств еЯД_3, ..., пока общая длина всех цепочек не окажется равной пи

Для подсчета длины цепочки не обязательно находить все ее векторы, но они могут быть найдены, как только выбран собственный вектор, являющийся началом цепочки. Последовательные присоединенные векторы е, ..., eh находятся решением линейных систем вида

(А-РЕ^-е^, /=1, h, относительно координатных столбцов этих векторов, где в первую систему входит е° — собственный вектор. Следует подчеркнуть, что при решении этих систем нам достаточно найти хоть одно решение каждой системы.

Точно h последовательных систем такого вида будут совместными, если е° е e?w и е° ф <^h.

Здесь описано построение векторов жорданова базиса в одном корневом подпространстве. Жорданов базис в 56п получаем объединением всех таких базисов.

Жорданова форма матрицы преобразования может быть выписана сразу после того, как известны длины всех цепочек, соответствующих каждому корню характеристического многочлена.

Пример 1. Пусть

3—10—1

00 10

Нетрудно установить, что характеристический многочлен этой матрицы равен (X — I) (X — 2)2. Начнем е корня X = 1.

Рассмотрим матрицу

2—10—1

10 0—1

00 1—1

00 1—1

Ее ранг равен трем. Далее, имеем

RgH-£)2 = RgRgH-£)2 = Rg32 0032 00—2 —1 0

RgH-£)2 = Rg

RgH-£)2 = Rg

3

2 0

0

3

2 0

0

—1 —1 0

000

000

2—10—12—10—1Ь Ь 5з54Ь Ь 5з54о о о оо о о оСледовательно, кратность корня X = 1 в минимальном многочлене равна 2. В А — Е базисными можно считать первые три столбца, поэтому I m (Л — £) натянуто на эти столбцы. Найдем пространство собственных векторов S(l), решая систему уравнений

2—10—1

2—10—1

Ь Ь 5з

54

Ь Ь 5з

54

о о о о

о о о о

Ее фундаментальная система решений — столбец || 1, 1, 1, 1 ||г. Он лежит в Im (Л — Е), и с него начинается цепочка длины 2. Следовательно, других собственных векторов искать не нужно (да их и нет).

Найдем присоединенный вектор, решая систему уравнений

111111112—1о —1

1

1

1

1

1

1

1

1

100—1

001—1

О01—1

Нам достаточно одного решения. Таким решением служит, например, столбец || 1, 1, 1,0 ||г. Рекомендуем читателю проделать такие же вычисления для корня X = 2.

Пример 2. Рассмотрим матрицу

Ее характеристический многочлен имеет единственный корень X — 1 кратности 5.

0 1

—1 0

0

1

—1 0

0

1/2

Л — Е =

0

1

0

1

0

0

0

0

0

1/2

0

0

0

0

0

Возводя эту матрицу в степень, находим

(Л - Е)2 =—10—10 —100000101010000000000(Л - Е)2 =—10—10 —100000101010000000000(Л - Е)3 = 0.(Л - Е)3 = 0.

(Л - Е)2 =

—10—10 —1

00000

10101

00000

00000

(Л - Е)2 =

—10—10 —1

00000

10101

00000

00000

(Л - Е)3 = 0.

(Л - Е)3 = 0.

Im (А — Е)2 натянуто на вектор || —1, 0, 1, 0, 0 Нг. Этот вектор собственный, и с него начинается цепочка длины 3. Трех векторов недостаточно. Рассмотрим Im (А — Е) П ^ О- Находим координатные столбцы линейно независимых собственных векторов. Это II 0, 1, 0, —1, 0 ||г и || —1, 0, +1, 0, 0 ||г. Пространство Im (А — Е) натянуто на последние три столбца матрицы Л — Е. Первый собственный вектор может быть получен как линейная комбинация третьего и пятого столбцов матрицы Л — Е. Следовательно, он принадлежит пересечению. С этого вектора начинается цепочка длины 2. Присоединенные векторы находим, решая системы линейных уравнений, аналогично тому, как это было сделано в предыдущем примере.

Функции от матриц,

Введение. В соответствии с общим определением функции под функцией на некотором множестве S квадратных матриц порядка п со значениями в множестве «З5 следует понимать отображение, сопоставляющее каждой матрице из множества S единственный элемент множества З51. В частности, нас будут интересовать функции, значения которых — также квадратные матрицы того же порядка. Однако без дополнительных ограничений при столь широком определении не удается учесть, что п2 чисел, составляющих матрицу, упорядочены специальным образом, и что над матрицами определены алгебраические операции. По существу, мы сможем сказать о такой функции столько же, сколько о любом наборе из п2 функций от п2 переменных.

Мы дадим более узкое определение, позволяющее учесть специфику матричного аргумента. Это позволит определить для матриц такие элементарные функции, как показательная, степенная, логарифмическая, тригонометрические функции и т. д. Собственно, один пример такого рода нам уже встречался. Используя алгебраические операции с матрицами, мы подставляли матрицу в многочлен в качестве значения независимой переменной. Полученная матрица считалась значением многочлена от исходной матрицы. Каждая из перечисленных выше элементарных функций в некоторой области разлагается в сумму степенного ряда. Добавляя к алгебраическим операциям с матрицами операцию предельного перехода, мы сможем определить сумму матричного степенного ряда. Функции, представимые как суммы степенных рядов от матрицы, мы и будем изучать.

Для чтения этого параграфа необходимо знакомство со степенными рядами от комплексной переменной, например, в объеме § 37 т. I книги Кудрявцева [16].

Регулярные функции от матриц. Пусть заданы комплексная числовая последовательность {а*} и квадратная матрица А. Формально написанная сумма

а0Е -[- ос^Л -[- а2Л2 ф~ • • • или. в другой записи

§ ^Л6(1)

а =о

называется степенным рядом относительно матрицы А. Конечные суммы вида

5 «и»

6 = 0

называют частичными суммами ряда (1).

Выберем в пространстве квадратных матриц порядка п некоторую матричную норму. Для целей этой главы достаточно считать, ЧТО ■

(2)(2)J Л J = и max | а» |.

(2)

(2)

Ряд (1) называется сходящимся к матрице F, если к ней сходится в выбранной норме последовательность частичных сумм этого ряда, т. е. для каждого числа е > 0 найдется номер 7V0 (е) такой, что для всех N > No (е) выполнено неравенство

/г

е.е.F- 5 М6

е.

е.

к = 0

Если ряд (1) сходится к матрице F, мы будем называть F суммой ряда и писать

СО

F=^ М*1

к=0

Определение суммы степенного ряда легко распространить на ряды вида

f] аДЛ-Л0ЛА = 0

где Ло — фиксированная матрица. Ввиду легкости перехода от рядов такого вида к рядам вида (1) и обратно мы в основном будем рассматривать ряды вида (1).

В § 4 гл. I доказано, что сходимость последовательности матриц по какой-либо норме равносильна поэлементной сходимости. Поэтому мы можем рассматривать матричный степенной ряд как п2 числовых рядов. *

Каждая частичная сумма — матрица, равная значению многочлена с коэффициентами а0, ..., а^ на матрице А. Естественно, что и сумма ряда, если он сходится, зависит от А.

Определение. Пусть ^ и ^ — множества комплексных квадратных матриц порядка ги Функция на множестве § со значениями в множестве У5 называется регулярной, если существует степенной ряд, сходящийся на $, такой, что для каждой матрицы А из 8 выполнено

/(Л)= 5 ^А-Аоу.к=О

Важное свойство регулярных функций от матриц содержится в следующем предложения.

Предложение 1. Пусть

ДД)=5«еЛ».

= 0

Тогда для любой невырожденной матрицы S выполнено равенстве

S'W = 2

= 0

Доказательство. (S'MS)2 = S^MS^MS = S'M2S. По индукции легко проверить, что и при любом к имеем (S^MIS)* ^ = 5-1Д*3. Отсюда для частичных сумм ряда получаем

М6Ь= 2 a»(S-MS)».

4 = 0/6 = 0

Предложение будет доказано, если докажем правило вынесения постоянного правого множителя за знак предела lim (PNS)=f lim Pn\S zV—*со\^“kco /

и аналогичное правило для левых множителей.

Доказательство этого правила вполне аналогично известному из анализа доказательству. Пусть lim P^ = F. Оценим норму раз- N —*оо ноет и P^S — FS:

IP^S-FS^F^-PHSt.

Видно, что эта норма будет меньше в при Ц PN — F И <; е' « = е/|| S ||. Но по определению || PN — F || < е' для всех N > > Л'о (е'). Для левых множителей доказательство почти не отличается от приведенного.

Рассмотрим линейное пространство Жп с выбранным в нем базисом е. Пусть А— линейное преобразование пространства 5ё„, имеющее матрицу А в данном базисе. Если А' — матрица А в базисе е' = eS, то, согласно предложению 1, / (А') = S"1^ (Д) S. Поэтому матрицы / (Д') и / (Д) определяют одно и то же линейное преобразование, каков бы ни был базис е'. Мы можем считать преобразование с матрицей ^ (Д) значением функции / на преобразовании А и обозначать его / (А).

Исследование сходимости матричных степенных рядов. Предложение 1 открывает нам возможность исследовать степенные ряды от матриц, упрощая их заменой матричного аргумента А на матрицу S‘MS.

Предложение 2. Пусть А = diag (Д^ .... Д5). Тогда для любой регулярной функции f, определенной на матрице А, f(A) = diag(f(A1), fM.

Действительно, как указывалось на стр. 73, при возведении клеточно диагональной матрицы в степень получается клеточно дна-

тональная матрица из степеней диагональных клеток. Так как сложение и умножение на число для матриц определены поэлементно, для любого многочлена р имеем

р (Л) = diag (р (Л1), ..., р(Л,)).

Далее, поскольку норма (2) матрицы не меньше, чем норма любой ее клетки, неравенства

(Лг) — / (Лг) || <8

выполнены, начиная по крайней мере с того же номера, что и неравенство

||^(Л)-/(Л)5|<8.

Это заканчивает доказательство-предложения.

Если нам дана некоторая квадратная матрица А порядка п мы можем сопоставить ей линейное преобразование А, имеющее данную матрицу Л в некотором базисе е. Пусть теперь S — матрица перехода от базиса е к базису, являющемуся объединением базисов корневых подпространств преобразования А. Тогда, как известно,

Л'= 5-1Л5 = diag(Л1, ..., Л^),

где Аъ ..., Л5 — матрицы ограничений А на корневых подпространствах. В силу предложения 2 теперь получаем

/ (Л) = Sf (А') S-i = S diag (/ (Л0, ..., / (Л,)) S"E , (3)

Результат может быть сформулирован так:

Предложение 3. Регулярная функция f определена на матрице А линейного преобразования А тогда и только тогда, когда она определена на матрицах Л,- ограничений А на его корне- * вых подпространствах. Значение f (Л) может быть найдено по формуле (3).

Рассмотрим теперь корневое подпространство ^t размерности пц, соответствующее корню Х;. Мы видели, что линейное преобразование В/ — ограничение преобразования А — Х;Е на 9Рг — нильпотентно, и его показатель нильпотентности к, равен кратности корня kt в минимальном многочлене. Преобразование В,- имеет матрицу В; = At — КЕщр где Ет. — единичная матрица порядка тг. Таким образом, матрица А, представима в виде суммы

Л/ = В, + XiEtn..

Матрица Ет. коммутирует с Вь как и с любой матрицей того же порядка. Поэтому r-я степень матрицы Л, может быть записана по формуле бинома Ньютона. (Напомним, что для коммутирующих матриц правила действий с многочленами такие же, как и для

чисел.) Если Ог — биномиальные коэффициенты, то

л; = ^+^е^ = 2 с№

i = 0

В силу нильпотентности матрицы В,, в этом разложении могут отличаться от нуля только члены со степенью / < hi, и для г 2s А, мы имеем

А' = 2 с^-’в^.

1=0

Выясним условия, при которых сходится ряд

■2 «мл(4)

г=0

Любая частичная сумма этого ряда не содержит В, в степени, большей чем kt— 1. Мы можем сгруппировать члены, содержащие одну и ту же степень В, в hi групп

Nк£ — 1

2= 2 А

г — О/ — О

где

и^^САГ7-

Вспоминая выражение для биномиального коэффициента С', мы получаем

N

= К 2 “гГ(Г- 1)...(Г-/+ 1)^-/. г = /

Рассмотрим теперь скалярный степенной ряд от комплексной переменной

/(g) =2^.(5)

г = 0

Допустим, что точка Хг лежит внутри круга сходимости этого ряда. Тогда, как известно, ряд может быть почленно продифференцирован в этой точке любое число раз. /-я производная функции / (g) в точке hi имеет вид

Р А,.) = 2 arr (г - 1)... (г - / + 1) ^.

Число и / только множителем отличается от М-й частичной суммы ряда для /^ (XJ. Поэтому

иД ->" fM (X,) при У->оо.

Отсюда следует, что

Nki~1^ —Г

2 м; = 2 yiB^ 2 Vn (М в'-(6)

г = о/ = о; = о

Действительно, если обозначить ^Ду)/^ (Хг) через и/, имеем

ь;-15 i=oь;-15 i=o/ = о/ = о^^ДиТ-иДМ^^^ДиТ-иДМ^<тах||ВП 2 И-У/l-i i<тах||ВП 2 И-У/l-i i(7)(7)

ь;-1

5 i=o

ь;-1

5 i=o

/ = о

/ = о

^^ДиТ-иДМ^

^^ДиТ-иДМ^

<тах||ВП 2 И-У/l-i i

<тах||ВП 2 И-У/l-i i

(7)

(7)

Но для каждой из, к, последовательностей |цУ} при любом е'>0 найдется номер №Дв'), начиная с которого |of —V/[<e'. Для того чтобы правая часть неравенства (7) была меньше е, достаточно выполнения неравенства М>шахМ/(е'), где е' =

= б/^тах||В;||-^.

В результате мы имеем

;ОО6,-1‘

2«^= 2 ^.fu4^Bir=oi=o 1

или, заменяя В, на At — к,Е,

М) = 2 ^'"’(MH-W.

/ = о

Соотношение (6) показывает, что для сходимости ряда (4) достаточно, чтобы число Х, лежало внутри круга сходимости ряда (5). Если же X, лежит вне круга сходимости, то не имеет предела уже последовательность {иоД. Поэтому для сходимости ряда (4) необходимо, чтобы X, лежало или внутри круга сходимости, или на его границе.

Воспользуемся предложением 3 и формулой (3) для того, чтобы перейти от матриц Л£ к исходной матрице А. Мы получим следующий результат.

Теорема 1. Для того чтобы регулярная функция [, задаваемая рядом (5), была определена на матрице А, достаточно, чтобы корни характеристического многочлена матрицы А лежали внутри

круга сходимости ряда (5). Необходимым условием является принадлежность этих корней замыканию круга сходимости. При этом, если S — матрица перехода к базису, который расположен в корневых подпространствах соответствующего А преобразования и

Д = 3 diag(Д1, ..., Д^З"1, то А-1

f^) = Sdiag 2 ^П^^-^Еу, ...

2 ^WsHAs-W

/ = 0

Пример 1. Применим формулу (8) к матрице простой структуры. Для нее кратности kt корней в минимальном многочлене равны единице и в формуле (6) останутся только члены с В( == Етл

NN

2 arAi - £ «XEm/(М Ет_.

г = 0г = 0

Далее по формуле (3) находим

ИД) = 3 diag ^ (li) Emi / (М Ет^ S-Ч

В частном случае, когда А — диагональная, / (Д) есть также диагональная матрица, получаемая из А заменой каждого диагональ- _ ного элемента 1, на число / (1,). В общем случае используется матрица 3 перехода к диагональному виду. Пусть, например,

Мы находим

Пример 2. Рассмотрим функцию от матрицы, состоящей из одной жордановой клетки, например,четвертого порядка:

X10О

д _ОЛ1О

0 0X1"

ОООX

Для нее матрицы В, В2 и В® равны соответственно

0 10 00 0 10 0 0 0 1 ’0 0 0 00 10 00 0 10 0 0 0 1 ’0 0 0 00 0 100 0 0 1 0 0 0 00 0 0 00 0 100 0 0 1 0 0 0 00 0 0 00 0 0 10 0 0 00 0 0 00 0 0 00 0 0 10 0 0 00 0 0 00 0 0 0

0 10 0

0 0 10 0 0 0 1 ’

0 0 0 0

0 10 0

0 0 10 0 0 0 1 ’

0 0 0 0

0 0 10

0 0 0 1 0 0 0 0

0 0 0 0

0 0 10

0 0 0 1 0 0 0 0

0 0 0 0

0 0 0 1

0 0 0 0

0 0 0 0

0 0 0 0

0 0 0 1

0 0 0 0

0 0 0 0

0 0 0 0

(Корневое подпространство здесь только одно, и индекс I, принимающий единственное значение, мы пропускаем.) По формуле (8) находим

ПА) = f (X)Е + f' (X)В +1 г (X) 52 +1Г (X) В3 =

fW /'(X)

= о /(X)/'(X) ^ГМ •

О О/(X) rw

0 0О/ (X)

Для того чтобы сформулировать еще одно следствие формулы (8), введем следующее

Определение. Совокупность кх + ... + ks чисел

fM гм .... ^-‘>(М(1=1,.... S),

где X,, ..., Х$— корни минимального многочлена матрицы А, а кх, ..., ks— их кратности, называются значениями функции f на спектре матрицы А.

Предложение 4. Если корни минимального многочлена матрицы А лежат внутри круга сходимости скалярного ряда, определяющего функцию f, то значение функции f на матрице А однозначно определено значениями Г на спектре А.

Предложение прямо вытекает из формулы (8). Однако эта формула дает довольно сложное выражение / (Л) через значения f на спектре А. При ее применении приходится изменять базис и составлять матрицу из диагональных клеток. Ниже мы покажем, как обойтись без этого

На символ diag (f (Л1), .... f (ЛЛ) можно смотреть как на знак операции, которая сопоставляет набору матриц / (Л^, ..., f (ЛЛ клеточно диагональную матрицу с клетками f (Л1), ..., f (Л^). Если перейти от матриц к преобразованиям, то операции diag соответствует следующее.

Пространство разложено в прямую сумму подпространств <Ж"1, ... ..., ^s, причем на каждом 9^, задано преобразование / (А;). Мы строим преобразование / (А), для которого Ж( — инвариантные подпространства, а / (А,) — ограничения на этих подпространствах. Поставим себе задачу осуществить это построение не зависящим от базиса образом. При этом преобразования f (Л,) в подпространствах <%"; будут заданы не непосредственно, а как ограничения некоторых преобразований F,, определенных на всем пространстве. Именно, пусть

Fz= 2 7l/(/)(Xi)(A-W1(9)

/=о,

Это преобразование — многочлен от А. Поэтому подпространства 96 ь ■••• 96 $ инвариантны относительно F;. Ограничения F; на 961 при I i нас не интересуют, а ограничение Fz на 96, есть f (А,).

Для того чтобы построить / (А) по Fz, нам потребуются дополнительные сведения.

Проектирование и отождествление. Рассмотрим подпространство 56' линейного пространства 56. Каждый вектор из 56' лежит в 56, и мы можем определить отображение I: 56' -> 56, сопоставляющее каждому вектору х е 56' тот же вектор, рассматриваемый как вектор из 56. Такое отображение мы назовем отождествлением *) векторов из 56' с векторами из 56.

Если базис е в 56 получен дополнением базиса е' из 66', то в паре базисов е' и е отождествление имеет матрицу, состоящую из столбцов единичной матрицы порядка п с теми номерами, под которыми векторы базиса е' входят в базис е.

Пусть теперь пространство 56 разложено в прямую сумму подпространств 96г, ..., 96 $. Это означает, что каждый вектор х из 56 однозначно раскладывается в сумму вида x = Xi + ... + х$, где Xi е 96, для всех I. Это разложение позволяет определить для каждого подпространства 961 отображение Р,-: 56 -> 96, по формуле Pi (х) = хь

Отображение Р< называется проектированием 56 на 96,. Следует, однако, помнить, что оно определено не одним лишь подпространством 96i, но всей совокупностью 96х, ..., 96$.

Если базис в 56 есть объединение базисов подпространств 96\, ... ..., 96 $, то матрица проектирования Р; состоит из тех строк единичной матрицы порядка п, номера которых равны номерам базисных векторов, лежащих в 96,.

Пусть теперь подпространства 961 инвариантны относительно некоторого преобразования F, и через Ci обозначено ограничение F на 96,. В этом случае имеет место равенство

CiPi = PiF.(10)

Действительно, для любого х из 56 имеем

F (х) = 2 F (х,) = £ С,- (хг),

причем xt г 96t и С/ (х,) е 96,. Следовательно, Р,Р (х) = С,- (х,).

С другой стороны, очевидно, что CiP,- (х) = С,- (х,). Этим формула (10) доказана.

Спектральное разложение. Вернемся к вычислению / (А). Теперь мы можем показать, что

= £i№(11)

i = 1

0 Чаще это отображение называют вложением, но вложением называют также и любое отображение с нулевым ядром.

где Р< — проектирование на корневое подпространство 9Сь Ь — отождествление векторов этого подпространства, a F; определяется формулой (9). Действительно, согласно (10) мы имеем

i=i i=i

Вычислим матрицу преобразования, стоящего в правой части равенства, в базисе, который является объединением базисов корневых подпространств. Для этого при каждом i надо перемножить матрицы I,, f (Ai) и Pi, размеры которых равны соответственно п X nit, mi X mt и иг, X п. Учитывая указанный в п. 4 вид матриц It и Pi, мы находим, что /,/ (А^ Р{ — квадратная матрица порядка п, у которой отлична от нуля только одна клетка на главной диагонали. Эта клетка расположена в столбцах, соответствующих базисным векторам из ^i, и равна / (Дг). Схематически это умножение изображено так:

Далее, складывая полученные матрицы, мы находим, что преобразование"

tv (Ai) Pi i= i

имеет в рассматриваемом базисе матрицу diag (/(ДО, ..., f(As)).

Следовательно, оно равно / (А), как и требовалось.

Учитывая формулу (9) и внося произведение 1,Р; под знак суммы, мы можем записать (11) в виде

s — V

J 2(12)

= 1 f = 0

Из доказанной нами формулы (12) следует, что, каков бы ни был базис,

S1

/и) = 2 2 hPijju4w-w. (13) ( = 1 / = о

Чтобы сделать результат более наглядным, введем следующее

Определение. Матрицы

Zy-I^y^lA-W"1. i=V .... s, 4=1, .... кь (14)

называются компонентными матрицами матрицы А. В частности, 7ц = //Л.

Теперь равенство (13) становится равносильным следующей теореме.

Теорема 2. Матрица / (Д) есть следующая линейная комбинация компонентных матриц:

f(A) = 2 'L^^Zy.(15)

/==iz = i

Равенство (15) называют спектральным разложением f (А). Обратим внимание на следующие свойства этого разложения.

Матрицы Zy не зависят от функции /. Поэтому для различных регулярных функций спектральные разложения отличаются только значениями функции на спектре А.

Матрица / (Д) линейно выражается через значения / на спектре Л. /

Для всех функций, значения которых на спектре А совпадают, значение / (Л) одно и то же.

Последнее следствие можно использовать для того, чтобы свести вычисление / (Л) к вычислению некоторого многочлена от А.

Предложение 5. Каковы бы ни были матрица Л и числа Ру, i = 1, ..., s, / = 1, ..., ks, найдется единственный многочлен степени меньшей, чем степень к минимального многочлена, который принимает на спектре матрицы А значения Ру.

Доказательство. Значение многочлена в фиксированной точке — линейная функция от его коэффициентов. То же относится и к значениям его производных любых порядков. Поэтому требование, чтобы многочлен принимал на спектре матрицы А предписанные значения, равносильно системе линейных уравнений на его коэффициенты. Если степень многочлена ^к — 1, то неизвестных в системе к. Число уравнений равно числу значений на спектре, т. е. тоже к. Поэтому остается доказать, что детерминант матрицы системы отличен от нуля. Это будет доказано, если мы проверим, что соответствующая однородная система имеет только нулевое решение.

Докажем последнее утверждение. Для этого рассмотрим многочлен, принимающий на спектре А нулевые значения. Из (15) следует, что он — аннулирующий для матрицы А. Но степень его меньше степени минимального многочлена, и он должен быть нулевым. Предложение доказано.

Многочлен, описанный в предложении 5, называется интерполяционным многочленом Лагранжа — Сильвестра.

Свойства компонентных матриц. Докажем следующее

Предложение 6. Компонентные матрицы являются многочленами от А степени меньшей, чем степень минимального многочлена.

Рассмотрим произвольную компонентную матрицу Zy. Пусть Ну — многочлен Лагранжа — Сильвестра, для которого Нб~1) (к,) = = 1, а остальные значения на спектре равны нулю. Из формулы (15) вытекает, что Ну (Д) = Zy.

Предложение 7. Для любой матрицы А компонентные матрицы линейно независимы.

Доказательство. Рассмотрим какую-нибудь нулевую линейную комбинацию компонентных матриц

s

2 2 *-о.

1=1/=1

Это многочлен от матрицы А, равный нулю. Так как его степень ниже, чем степень минимального многочлена, то он нулевой. Это означает, что для многочленов Ку из предложения 6 выполнено равенство

s ki

2 2Т;ДУ = О.(16)

г = 1 / = 1

Докажем, что отсюда следует уу = 0 для всех t и /. Подставляя в тождество (16) число Ху t = 1, ..., s, мы найдем, что уг1 = 0. Затем продифференцируем это тождество и подставим X, в производную левой части. Мы получим уг2 = 0. Будем дифференцировать и подставлять X, далее до порядка к* = шах ку Так мы получим все требуемые равенства.

Поскольку компонентные матрицы — многочлены от А, имеем Предложение 8. Компонентные матрицы матрицы А перестановочны с матрицей А и между собой.

Перечислим некоторые алгебраические соотношения, которым удовлетворяют компонентные матрицы. Во-первых, при всех I = = 1s матрицы Zy идемпотентны. Это означает, что

2ц = Zy

для любой степени г. Доказательство не представляет труда. Действие преобразования Zy с матрицей Zy = liPi на вектор х состоит

в проектировании этого вектора на 9Ct и последующем отождествлении с тем же вектором, рассматриваемым как вектор из Ж. Очевидно, что повторение этого преобразования не меняет результата.

Подстановкой / (У = 1 в разложение (15) проверяется, что

82z«-£?=1

Так как правый множитель в выражении 1,В/—'P, = Zy есть проектирование, имеем Im Z;/ ^ ,^ и ®t = Ker Zy при / #= t. Отсюда

ZyZim = О при 1=^1 и всех /, т.

Преобразование Ze-i действует на 961 как тождественное. Поэтому для всех i и /

Z^Zy = Zy.

Отметим еще следующее интересное равенство, которое получается при / (g) = £:’

А = 5 (Х^ + Z^.i=i

Поучительно рассмотреть компонентные матрицы для матрицы А, имеющей жорданову форму. Вместо громоздкого общего описания приведем достаточно характерный пример. В написанных ниже матрицах шестого порядка отсутствующие элементы равны нулю. Пусть

1

3 1

3

Тогда для какой-нибудь функции / имеем

/(2)

/(2) Г (2)

fW =fW =Г (3) ^ГЮf(3) f(3)/(3)Г (3) ^ГЮf(3) f(3)/(3)/(2)

fW =

fW =

Г (3) ^ГЮf(3) f(3)/(3)

Г (3) ^ГЮf(3) f(3)/(3)

/(3)

И в силу линейной независимости компонентных матриц получаем из (15)

00ZZ13131О00о1О00оо о оО 1 оО 1 оо о оО 1 оО 1 о

0

0

Z

Z

13

13

1

О

0

0

о

1

О

0

0

о

о о о

О 1 о

О 1 о

о о о

О 1 о

О 1 о

о

^23 —^23 —о

^23 —

^23 —

О 0 1

о оо

Вычисление компонентных матриц. Интерполяционный многочлен Лагранжа — Сильвестра можно построить, исходя из решения интерполяционной задачи Эрмита. Она состоит в том, чтобы для заданной функции / и s различных точек Хъ .... Xs построить многочлен, который вместе со своими производными указанных порядков ku .... ks принимал бы те же значения в точках Xlf .... Xs, что и функция f. Такой многочлен степени, меньшей чем ^ = ^ + 4- ... + ^, называется интерполяционным многочленом Эрмита.

Многочлен Эрмита можно получить по формуле

s kt

t=l/=1

если построены многочлены hy, i = 1, ..., s, j = 1, .... ks, степеней, меньших к, для которых

^"1,М = ^^"1,М = ^приприприприГ = / и j — m, 1=^1 или j=#m.Г = / и j — m, 1=^1 или j=#m.(17)(17)

^"1,М = ^

^"1,М = ^

при

при

при

при

Г = / и j — m, 1=^1 или j=#m.

Г = / и j — m, 1=^1 или j=#m.

(17)

(17)

Опишем построение этих многочленов. Для каждого / возьмем многочлен•

«I«I1*11*1

«I

«I

1*1

1*1

Как нетрудно проверить, для любого t =/= / и любого } ^kt и)'- ° (X,•) = ().(18)

Это означает, что щ удовлетворяет требованиям (17) в точках Xz, I =# /, но, вообще говоря, не удовлетворяет им в точке Xz. Исправим его. Для этого заметим, что свойства (18) сохраняются при умножении на любой многочлен to (£):

^(ц<т)|^ = 0, i^l, f^h.

Это вытекает из формулы Лейбница. Выберем многочлен to подходящим для нас образом.

Пусть fir ® — многочлен Тейлора, полученный разложением функции \/ut по формуле Тейлора в окрестности точки X, с точностью до о ((§ — Х/Х). Мы положим

(19)(19)him ^ = и£ ® ^у (£ - Х^ f£i кгт ®.

(19)

(19)

Иначе этот многочлен можно представить так:

h^ = (^Т)! ^ -^^ ® [^ +0^ - ^-т)] =

= (Д^Т)Т (^ - W-x + Ut ® о ((6 - Xz)*' - *)•

Докажем, что многочлен (19) удовлетворяет условиям (17). Для всех / -с hi мы имеем (и£ (У о ((£ — Xz)^ ~ ’^Д^ = 0 по формуле Лейбница, поскольку первые h£ — 1 производных от функции о((Е, — Х]^!-') в точке Х£ равны нулю. Поэтому первые k£—I производных многочлена h£m в точке Xz такие же, как у 7(| — Xz)m-1, т. е.

(т—1)1 v и ’

[ 0, /5^т.

Многочлен Utm имеет степень k — ht. Произведение двух остальных сомножителей в (19) имеет степень не выше m — 1 + ^ — т. Поэтому степень многочлена him не превосходит к — 1. Это заканчивает доказательство.

Общий способ вычисления компонентных матриц матрицы А состоит в подстановке А в формулы (19), поскольку Ztt = hy (Л) для всех t и j. Однако стоит заметить, что более эффективном может оказаться следующий не столь общий способ.

Мы можем подставлять вместо f в разложение (15) какие-либо многочлены, например делители минимального многочлена или просто степени матрицы А. При этом мы получим систему линейных уравнений с числовыми коэффициентами относительно матриц Zy.

Если многочлены выбраны удачно, решая эту систему, нетрудно будет найти компонентные матрицы.

Пример. Пусть

Так как это — матрица второго порядка с простым спектром и Xi = 1, Х2 = 2, для нее формула (15) имеет вид f (А) — f (1) Zu + + / (2) Z21. Подставим вместо / многочлены £ — 1 и £ — 2. Немедленно находим

Z21-|o oil’ Zn“||o 1Ц-

Поэтому

fM)-№)||" l|+H2>|i ~i|-

В частности, как мы видели на стр. 83,

дII е2 е—е2

или для функции V при натуральном г .

Дг _ 2' 1 — 2^11

Л —о 1 Г

Сохранение тождеств. Пусть регулярная функция g (£) равна нулю на спектре матрицы А. Тогда g (Л) = О. Применим это соображение к функции вида

g^-G^©, ...Л,(^ = 0,

где G = 0 — некоторое тождество, связывающее регулярные функции /ь .... fr. Если функция g (£) регулярная, то мы видим, что g (Л) = О, и следовательно, тождество сохраняется и для матрицы А.

В двух важных частных случаях регулярность функции g (£) не вызывает сомнений.

0(1]!, ..., Hz) — многочлен. На матрицы переносится любое тождество рассматриваемого вида, левая часть которого — многочлен от регулярных функций. Рассмотрим, например, тождество sin2 £ + cos2 £ = 1. Функция g (£) = sin2 £ + cos2 g — 1=0 регулярна и обращается в нуль на спектре любой матрицы. Поэтому для любой матрицы А имеем

sin2 A -4-cos2 А = Е.

Выше мы нашли компонентные матрицы для

л-II2 -Ч

А —||о ill*

Используя их, находим

. , . II sin2 2 — sin2 2 +sin2 1II „ . II cos2 2 — cos2 2+cos2 1Ц

sin2 4 =„.T., cos2 4 = n.

II 0sin210cos2 1||

Теперь можно непосредственно убедиться в справедливости равенства для этой матрицы.

Пусть / — регулярная функция от одной переменной, a h —• регулярная ветвь обратной к этой функции, определенная в области, содержащей спектр матрицы 4. В этом случае функция g ^ = — h (] ®) — g регулярна, и тождество h (f (£)) = £ справедливо и для матрицы 4.

В качестве примера определим функцию £1/2 как сумму ряда

1+~(^—1)—4^ (^—D2+

Поскольку функция (£1/2)2— £ регулярна, для любой матрицы 4, характеристические числа которой лежат в круге |£ — 1 | < 1, значение

4V2 = £ + l(4_£)_l^-£)2 + ...

удовлетворяет равенству (41/2)2 = 4. Следовательно, 41/2 может рассматриваться как квадратный корень из 4. Пусть

Л ~ 02

Характеристические числа этой матрицы 3 и 2. Матрица 4 — Е как раз та матрица, компонентные матрицы которой мы вычисляли. Поэтому сумма ряда равна

о|| + 1/2||оо У2 •

Возводя X в квадрат, мы получим матрицу 4.

Следует подчеркнуть, что сохранение тождеств не относится к тождествам, содержащим две независимые переменные. Это связано с некоммутативностью умножения матриц. Классическим примером является несправедливость равенства

еА _ев = ел + в

для произвольных матриц. Однако если матрицы коммутативны, то равенство имеет место. В этом можно убедиться, перемножая степенные ряды.

Аналитическое продолжение. По поводу разобранного выше примера извлечения квадратного корня из матрицы нужно сделать два важных замечания. Во-первых, этим путем мы получили только одну из матриц X, удовлетворяющих уравнению X2 = 4 и потому имеющих право называться квадратным корнем из 4. Во-вторых, мы можем найти 4*/2 только для матриц, собственные значения

которых лежат в круге сходимости, хотя квадратный корень из матрицы существует и для других матриц.

Ясно, что подобные замечания относятся не только к квадратному корню, но и ко многим другим функциям, например к логарифму. Читатель, более подробно знакомый с теорией функций комплексной переменной, заметит, что оба вопроса тесно связаны между собой и относятся к возможности аналитического продолжения регулярной функции от матрицы. Их решение не содержит ничего сложного, но больше относится к анализу, чем к линейной алгебре. Поэтому мы не будем углубляться в эту сторону.

Заметим только, что у нас есть возможность определить регулярную функцию от матрицы и для тех матриц, собственные значения которых не лежат внутри круга сходимости определяющего функцию ряда. Для этого достаточно, чтобы мы могли найти значения функции на спектре интересующей нас матрицы. Тогда, применяя многочлен Лагранжа — Сильвестра, мы сможем найти значение функции на матрице. Лучшее изложение обоснования этого способа можно найти в первоисточнике — работе Лаппо-Данилевского [18]. Приведем пример.

Матрица

Н^1

имеет характеристические числа /3 и —]/3. Они таковы, что любой круг, их содержащий, содержит также и 0. Поэтому ни одно разложение функции 1Д в степенной ряд не может сходиться сразу в обеих точках )^3 и — "/3. Однако функция в них определена и принимает значения (р^З)'1 и (—р^З)'1. Найдем компонентные матрицы для матрицы Л:

7 -- 1 Ь + ^З -1 н 7 1 2~^-1 I

11 2/3 I 1 —2 + /3212/3 1 — 2 — /3 ] '

Подстановка их в выражение (j/"3)-1Zu + (—р^З)"1/^ дает матрицу

Й2/3 —1/ЗП.

Ь/З -2/3||*

действительно являющуюся обратной матрицей для Л. (Этот пример иллюстрирует продолжение регулярных функций от матриц при помощи многочлена Лагранжа — Сильвестра, но не должен рассматриваться как удобный способ обращения матриц второго порядка).

Спектральное разложение, или, иначе, многочлен Лагранжа — Сильвестра, — не единственный многочлен, при помощи которого могут вычисляться функции от матрицы. Очевидно, достаточно только того, чтобы значения этого многочлена на спектре матрицы совпадали со значениями функции. Укажем такой многочлен для функции ^"*,

Согласно теореме Гамильтона — Кэли матрица А удовлетворяет своему характеристическому уравнению

А” A- Qi А™-1 А-... A- an-iA + апЕ = О,

где а„ = det А. Если а„ #= 0, мы можем написать

а? А (А-1 + at А"'2 + ■ • • + an-iE) = Е,

откуда получается выражение для А"1 в виде многочлена от А. Практическое значение такого способа обращения матрицы невелико, так как вычисление коэффициентов характеристического многочлена — трудоемкая операция. Однако если характеристический многочлен представляет самостоятельный интерес, заодно с ним можно легко найти обратную матрицу. Алгоритм нахождения коэффициентов характеристического многочлена и обратной матрицы приведен в книге Д. К. Фаддеева и В. Н. Фаддеевой [35].

Характеристические числа регулярной функции. Докажем Предложение 9. Если / — регулярная функция, то корни характеристического многочлена матрицы f (А) равны / (Xj),... .... t k^nV где Хь .... Х„— корни характеристического многочлена матрицы А.

Доказательство. Воспользовавшись предложением 1, мы можем заменить в доказываемой формулировке матрицу А на жорданову матрицу А' такую, что А' = S-,AS. Вид матрицы/ (У) для одной жордановой клетки J мы, по существу, получили в примере на стр. 83. Распространить его на клетки произвольного порядка не представляет труда. Для / (А') имеем

f (A') = diag №)...№)).

Отсюда видно, что в / (А') все элементы ниже главной диагонали равны нулю, а элементы главной диагонали — числа / (XJ, ... .... / (XJ, повторенные должное число раз. Поэтому

det (/ (А') - ХЕ) = (X-fM)^ ...(X~f

что равносильно доказываемому утверждению.

Детерминант матрицы равен произведению ее характеристических чисел, а след — их сумме (при этом каждое число считается столько раз, какова его кратность в характеристическом многочлене). Отсюда мы получаем следующее равенство:

det еА = е1гЛ.

Приложение к обыкновенным дифференциальным уравнениям

В этом параграфе мы не ставим себе задачи нн показать всевозможные применения теории матриц к дифференциальным уравнениям, ни, тем более, изложить теорию дифференциальных уравнений. Ограничимся наиболее простыми и характерными приложениями функций от матриц.

Матричные функции скалярного аргумента. Мы будем говорить, что на множестве вещественных чисел Т задана матричная функция F, если каждому числу t из этого множества сопоставлена некоторая матрица F (/) фиксированных размеров т X п. Нас будут специально интересовать два вида матриц — квадратные матрицы порядка п и столбцы высоты п.

Задание матричной функции скалярного аргумента равносильно заданию тп числовых функций на множестве Т, сопоставляющих каждому числу t из Т отдельные элементы матрицы F (t). Мы будем называть эти числовые функции элементами функции F.

Все определения, связанные с матричными функциями скалярного аргумента, вводятся посредством соответствующих определений для их элементов, и свойства их легко выводятся из свойств числовых функций.

Говорят, что матричная функция непрерывна, или дифференцируема, если ее элементы — непрерывные, или соответственно дифференцируемые функции от t. Производную от матричной функции определим поэлементно:

dFW _ М W

dt ГтХ W’

Имеет место следующая формула дифференцирования произведения матричных функций:

dAB dA D . . dB

Действительно, элемент произведения А В имеет вид

Са^-^а^^Ьу^.

к

Отсюда

с'ц 0=2 W <А bM (tWciih (О Ьщ (/)].к

Теперь, перегруппировывая слагаемые, сразу получаем требуемое равенство. Из него имеем следующие следствия.

а) Постоянный множитель выносится за знак дифференцирования (с учетом порядка сомножителей).

9 ж^'-жF‘"‘+ Ftf“+--vf*-1 ж-

Последнее равенство можно получить дифференцированием тождества FF-1 = Е, если предварительно убедиться в существовании производной от F"1. Эта производная существует, так как эле-

менты F"1 — дробно рациональные функции от элементов F, имеющие общий знаменатель det F =# 0.

Мы будем говорить, что матричная функция скалярного аргумента разложена в степенной ряд в окрестности точки /0, если в такие ряды разложены все ее элементы. Частичные суммы рядов для элементов могут быть объединены в линейные комбинации матриц

.к = 0

Поскольку сходимость последовательности матриц по норме равносильна поэлемёнтной сходимости, Fn (0 ->- F (0, и мы можем записать

к =0

Заметим, что последний ряд, вообще говоря, не является матричным степенным рядом в смысле § 3.

Матричный ряд по степеням / — /0 сходится, когда сходятся все ряды для элементов. Внутри области сходимости ряд может быть почленно продифференцирован, поскольку это возможно для каждого элемента, а дифференцирование определено поэлементно.

По отношению к операциям сложения и умножения на вещественное число столбцы-функции высоты п от скалярного аргумента I образуют вещественное линейное пространство, которое мы обозначим

Это пространство бесконечномерное. Действительно, столбцы

линейно независимы, каково бы ни было N.

Системы линейных уравнений с постоянными коэффициентами. Рассмотрим систему линейных дифференциальных уравнений с постоянными коэффициентами

%=^^Ц1^ t=lп.

/ = 1

Обозначим матрицу коэффициентов системы через Д, столбец из неизвестных функций — через § = § (/). Теперь рассматриваемую систему мы можем записать в матричном виде

^' = А^.(1)

Предложение 1. Каков бы ни был постоянный столбец а, система (1) имеет единственное решение, удовлетворяющее условию | (0) = а, и это решение есть

£(0 = ел'а.(2)

Доказательство. Если столбец § дифференцируем, то дифференцируемым является также и столбец Л|, получаемый из него умножением на постоянную матрицу, причем — (Л^) = Л|'.

' Следовательно, для решения системы (1) |" существует и равняется Л2|.

Допустим, что у | существует (А — 1)-я производная и g**"1’ = = Л**1 |. Тогда из дифференцируемости Л*-1^ следует существование й-й производной и равенство

^) = Л»|.(3)

Согласно принципу полной индукции формула (3) имеет место при всех k. В частности, для / = 0 имеем

|(*>(0) = ЛА| (0) = Л6а.

Это позволяет нам составить ряд Тейлора для g:

2 iHwo)=ff(4)

4=0\fe=0/

По определениюпоказательнойфункции отматрицы,суммаэтого

рядаравнае,Аа.Будет ли рядсходитьсякрешению|,длякото

рого мы этот ряд строили, зависит от того, стремится ли к нулю при N->- со остаточный член в формуле Тейлора, равный N-му остатку ряда. В форме Лагранжа этот остаточный член можно записать так:

4jt6NAN«-

Здесь о — некоторое число, заключенное между 0 и / (или между / и нулем, если / < 0). Обозначив через 2^ компонентные матрицы матрицы Л, по формуле (15) § 3 мы можем вычислить остаточный член - s*

> 6„ V у№У Z

Д'!\1 А=х. '

О = 1 / = 1* J

Найдем коэффициент при компонентной матрице Zt, /+1, считая N >- /;

^0"tf(^-l)...(tf-/+l)^-/=9/^^

Отсюда видно, что каждый коэффициент стремится к нулю при N -> со и, следовательно, стремится к нулю и весь остаточный

член.

Таким образом, мы доказали единственность решения и формулу (2). Для доказательства существования решения следует проверить, что столбец (2) удовлетворяет системе (1).

Почленным дифференцированием ряда (4) мы получаем.

=<5>

\4 = 1/

Легко заметить, что этот ряд может быть получен умножением ряда (4) слева на матрицу Л. Действительно, заменяя в (5) индекс суммирования к на / + 1, можно привести (5) к виду

( J у /мЙа.V = o '/

Отсюда сразу следует, что построенное нами решение § удовлетворяет системе (1).

П редложение 2. Решения системы (1) образуют вещественное п-мерное линейное подпространство в ^.

Доказательство. Пусть ^ и |2 — решения системы (1). Тогда для любых чисел аир имеем

(с& + Р|2)' = аЦ + р& = аЛ^ + Р Л|2 = Л (а^ + р|2).

Это означает, что произвольная линейная комбинация решений системы также будет ее решением. Рассмотрим п решений ф, = е1Ле,, I = 1, .... п, где е,— i-й столбец единичной матрицы. Докажем, что любое решение | есть линейная комбинация решений фъ ..., ф„. Действительно, пусть § (0) = а = а1^ + ... + апеп. Умножая это разложение слева на матрицу eiA, получаем | = ^ф! + ...+ оДф,,, как и требовалось. Решения ф,- линейно независимы. В самом деле, если для каких-то коэффициентов pz выполнено p^j + ... + Р^фп = — О, то, полагая / = 0, имеем отсюда р1^ + ... + ^"е,, = О, откуда следует Р1 = ... = Рл = 0. Тем самым предложение полностью доказано.

Базис в пространстве решений системы (1) называется ее фундаментальной системой решений. Объединяя столбцы, составляющие фундаментальную систему решений, в матрицу, мы получаем квадратную матрицу порядка п, называемую фундаментальной матрицей системы (1). Выше мы доказали, что etAE = etA — фундаментальная матрица.

Пусть F (0 — фундаментальная матрица. Тогда легко видеть, Что для любого решения | (/) найдется постоянный столбец а? такой, что 1 (0 = F (t)aF.

Предложение 3, Матрица F (0 является фундаментальной матрицей системы (1) тогда и только тогда, когда она имеет вид F (I) = eiAFOl где Fa — постоянная матрица, и det F6 0.

Доказывается предложение не сложно, и мы предоставим читателю провести это доказательство.

Замечание. Мы рассматриваем линейную зависимость столбцов-функций скалярного аргумента относительно постоянных коэффициентов. Поэтому вполне может случиться, что столбцы линейно независимы, а детерминант матрицы, из них составленной, равен нулю (примером могут служить столбцы, приведенные на стр. 97). Из предложения 3 вытекает, что для столбцов, являющихся решениями системы линейных дифференциальных уравнений, этого быть не может.

Возможно, стоит заметить также, что- ряд результатов этого пункта сохранится и в более общем случае — для систем линейных дифференциальных уравнений с переменными коэффициентами: предложение 1 сохраняется, за исключением формулы (2) для решения, предложение 2 сохраняется полностью.

Вычисление матрицы etA. Рассмотрим вещественную матрицу Л и найдем значение функции / (;) = ez^ на ее спектре. Это — числа

Отсюда, согласно (15) § 3, имеем

е‘А = ^ etxiz = iе‘А = ^ etxiz = iГ к1и = 1Г к1и = 1(6)(6)

е‘А = ^ etxiz = i

е‘А = ^ etxiz = i

Г к1

и = 1

Г к1

и = 1

(6)

(6)

Для наших целей мы не можем рассматривать это выражение как окончательное, поскольку матрица etA вещественная (что видно из ее представления в виде ряда), и мы должны постараться получить для нее вещественное выражение.

Так как матрица Л вещественная, для каждого комплексного корня ее характеристического уравнения Xz найдется комплексно сопряженный корень Zz. Обозначим номер корня Xz через /, так что X, = \ь

Предложение 4. Для вещественной матрицы Л компонентные матрицы, соответствующие комплексно сопряженным корням, удовлетворяют условиям

(7)(7)Z7. - 2 у.

(7)

(7)

Если же корень Х{ вещественный, соответствующие ему матрицы Zy вещественны.

Доказательство. Мы видели в § 2, что Zy = Ну (Л), где многочлен Ну степени ^ ^ — 1 определяется условиями '

I = т и г = ], 0, 1^т или r^j-

• Комплексно сопряженный ему многочлен удовлетворяет условиям '

. л 1==гп и г=ь

hl! 1^т или r^j. . (8)

Многочлен h^ также удовлетворяет условиям (8). Из предложений 5 и 6 § 3 мы видим, что многочлен й;~. однозначно определяется своими значениями на спектре А. Поэтому hr. = hy. Такое же рассуждение показывает, что для вещественного корня Xz (равного своему сопряженному) многочлен Ну удовлетворяет условию Ну = by, т. е. является вещественным. Подставляя в многочлены by вещественную матрицу А, мы получаем доказываемое утверждение.

Обозначим сумму, заключенную в квадратные скобки в (6), через Ri = Sz + IT t и рассмотрим два слагаемых в (6), номера которых I и I соответствуют паре комплексно сопряженных корней. Если X, = az + i^i, то е^' =е"^ (cos р2/ + i sin pzZ). Сумма выбранных нами слагаемых равна 2 Re(e^Rz), т. е.

2ea^ (cos pz^Sz — sin pz/Tz), (9) где Si и Т; — матрицы, элементы которых — многочлены от t с вещественными коэффициентами. Слагаемое в сумме (6), соответствующее вещественному корню, имеет тот же вид с учетом того, что Xi = az и 0Z = 0. Оно равно

e^Ri. (10)

Окончательное выражение для etA будет получено, если мы просуммируем выражения вида (10) для всех вещественных корней и прибавим к результату сумму выражений вида (9) для всех пар комплексно сопряженных корней.

Локализация корней характеристического многочлена

Введение. Задача локализации характеристических чисел матрицы состоит в нахождении условий и оценок, позволяющих по элементам матрицы указать приблизительно расположение корней ее характеристического многочлена на комплексной плоскости.

В принципе, конечно, по элементам матрицы характеристические числа могут быть указаны точно, но точные значения не всегда нужны, и уж во всяком случае предлагаемые оценки должны быть проще, чем решение характеристического уравнения. Говоря о локализации характеристических чисел, следует иметь в виду, что они инвариантны и, следовательно, применение какой-либо локализационной теоремы к матрице S“MS вместо матрицы А указывает расположение тех же самых чисел, но может дать более точную (или менее точную) оценку. Хороший выбор матрицы S

может дать прекрасную оценку, вплоть до точного указания корней, но сам по себе затруднителен.

Интерес к локализации характеристических чисел связан, во-первых, с ее применениями к различным задачам теории устойчивости обыкновенных дифференциальных уравнений и отсюда к широкому кругу практических задач. Во вторых, применение некоторых численных методов решения задач (даже таких, казалось бы, не имеющих отношения к характеристическим числам, как системы линейных уравнений) требует хотя бы приблизительной локализации характеристических чисел рассматриваемых матриц. Тем более это относится к задаче нахождения собственных векторов и собственных значений, в которой предварительная локализация характеристических чисел значительно упрощает решение.

Локализация характеристических чисел матрицы тесно связана с локализацией корней многочлена по его коэффициентам. Однако нахождение характеристического многочлена затруднительно и не упрощает задачу. Скорее можно пользоваться многочисленными результатами о локализации корней характеристического многочлена по элементам матрицы для локализации корней многочлена по его коэффициентам. Для этого может быть построена матрица, для которой данный многочлен является характеристическим. Примером матрицы с характеристическим многочленом

tn + a.itn-1 -ф... -ф ал_1/ 4" а« может служить матрица

01о...о

оО1...о

00...01''

— ал — «я-1 ... —«2 —а.

Опа называется сопровождающей матрицей данного многочлена.

Еще одна область, тесно связанная с локализацией характеристических чисел, — так называемая теория возмущений характеристических чисел. Ее результаты говорят о том, как изменятся характеристические числа и их кратности при небольшом изменении («возмущении») элементов матрицы. Из-за недостатка места мы не будем касаться здесь этих результатов, несмотря на их большое практическое значение. Оно связано с неизбежными погрешностями, с которыми нам известна исходная информация в любой практической задаче и со столь же неизбежными погрешностями округления. Кое-что по этому поводу будет сказано в п. 4 § 2 гл. Ш, подробное изложение теории возмущений есть в книгах Ланкастера [17] и Уилкинсона [33].

Перечисленные выше связи локализации собственных значений с другими. вопросами сделали ее большим разделом линейной алгебры, богатым разнообразными результатами. В рамках общего

образования едва ли стоит подробно изучать их все, но с наиболее простыми и важными теоремами мы сейчас познакомимся.

Оценки для модулей характеристических чисел. Дадим

Определение. Пусть Хь t = 1, ..., s, — характеристические числа матрицы А. Число Хд = max | X,- | называется спек

тральным радиусом матрицы А.

Очевидно, что спектральный радиус — вещественное неотрицательное число, и его обращение в нуль равносильно нильпотентности матрицы.

Предложение 1. Если норма || * || обладает кольцевым свойством, то спектральный радиус матрицы А не превосходит нормы этой матрицы. Хд : ‘ || А Ц.

Доказательство. Пусть Xi — то характеристическое число, для которого 1^1 = Хд, и пусть А^ = Х^, |^0. Обозначим через X квадратную матрицу порядка п, у которой первый столбец равен £, а остальные столбцы нулевые. Очевидно, что АХ = ХхХ. Переходя к нормам правой и левой частей равенства, имеем | Хг |.|| X || = || ЛХ || =ё II Л ||-|| X ||. Так как || X || > 0, отсюда следует доказываемое неравенство.

Применяя предложение 1 к различным нормам (см. § 4 гл. I), мы получим следующие оценки для модуля произвольного характеристического числа:

l^^fS!^2Y/2,

\ v /

| Хк | п шах | а,у |,

I Xk | её ШЗХ^ I aji I,

i i ’

| Xk | её max У ; а^‘ i

I Xk | =ё «i для спектральной нормы

(здесь cq — максимальное сингулярное число матрицы А).

Последнее неравенство может быть дополнено нижней оценкой. Именно, имеет место

Предложение 2. Модули характеристических чисел матрицы А заключены между ее наименьшим и наибольшим сингулярными числами.

Для доказательства рассмотрим столбец £, удовлетворяющий условию А^ = Х*^. Пусть, как всегда, £* = |г и || § П2 = §*§. 'Мы будем предполагать, что || § II = 1. Тогда

IXtMI^H^)*^^*^*^.

С другой стороны, согласно формуле (9)§2гл, I, величина g* (Л* А) § при II § II ” 1 заключена между наименьшим и наибольшим ха-

рактеристическим числом матрицы А* А, т. е. между а? и а„, где ап и ат — минимальное и максимальное сингулярные числа. Это приводит нас к неравенству, равносильному доказываемому утверждению «п I ^6 I2 «?.

Оценки для вещественных и мнимых частей характеристических чисел. По существу тот же прием сведения к некоторой эрмитовой матрице, который применялся при доказательстве предложения 2, можно применить к доказательству следующего утверждения.

Предложение 3. Пусть матрицы S и Т определены равенствами S = ^ А-\-А*^ и Т =-^-(, А — А*\ Тогда для любого характеристического числа kt матрицы А

p^Re^^p.,, vT< ImX,-s5vn,

где pi, Vj и p„, v„ — соответственно минимальные и максимальные характеристические числа матриц S и Т.

Докажем первое нерайенство. Пусть Л| = Х& и || | || = 1. Тогда |*Л* = Л^*, и мы имеем

Г$& = 2’ (£М| +1* А*1) = 1 (^ + V^^ = (Re kA |*| = Re ^.

Но при II 11| = 1 число |*S| заключено между р: и р„. Второе неравенство доказывается аналогично.

Рассматривая матрицу А как комплексную, мы можем воспользоваться теоремой 1 § 3 гл. I, согласно которой найдется такая унитарная матрица U, что матрица R = U~lAU является верхней треугольной. Диагональные элементы R — характеристические числа ^ матрицы А. Унитарную норму матрицы R можно вычислить так:

li^lib= S ^А/= S 1^12 + Skvl2^ SIM2,i, /Ii < /i

Но унитарная норма матрицы А не меняется при умножении А на унитарную матрицу слева или справа. Поэтому

liM^IM2.(1)

При этом равенство достигается в том и только том случае, когда все Гу = 0 (i < А, т. е. матрица R диагональна, и, следовательно, А — нормальная матрица.

Получим некоторые следствия из неравенства (1).

Пусть U* обозначает UT. Тогда для унитарной матрицы U имеем U* = П~\ и потому R* = (L/*AL/)* = U*A*U. Отсюда для матрицы S из предложения 3

U*SU = ^U* (A -V A^U-^R-VR*).

Диагональные элементы матрицы у (R+R*) равны Re Х£, i =; — 1, ..., п, и для унитарной нормы матрицы S мы находим

ап

[S|^= 2 lRe^l2 + T 2 ^ + s/£)^ 2 IReXd2.

r=it^ii=i

Аналогично доказывается, что

п

5 |ImXz|2,i = i

где матрица T определена в предложении 3.

В § 4 гл. I мы видели, что с'-норма матрицы не меньше ее евклидовой нормы. Тот же результат, очевидно, верен и для унитарной нормы:

|| А^^п max | ац | = [ A Jc<.

i, /

Применяя это к матрицам S и Т, находим , лч 1/2

JReXJ^ ^ I Re Az|2) li Sh|SL,v = i/

и окончательно

| Re Xi | ^ n max 5— .

Аналогично

| Im Xi I ^ n max | ^n^A-1,

Как было показано, || А Ци = tr А*А. Но

tr А* А = 2 аЬ

i = 1

где а,- — сингулярные числа А. Поэтому неравенство (1) означает, что

1=1i=1

и равенство имеет место тогда и только тогда, когда А — нормаль* ная матрица.

Локализационные круги. Мы будем говорить, что матрица А порядка п имеет доминирующую главную диагональ, если каждый ее диагональный элемент по модулю больше суммы модулей остальных элементов той же строки:

|йгт|>-5 1а«1 для всех t = l, ...,п.(2)

А Ф i

Предложение 4. Если матрица А имеет доминирующую славную диагональ, то det А =# 0.

Действительно, если det А = 0, то существует нетривиальное решение системы линейных уравнений А^ = 0. Пусть ^ — максимальная по модулю компонента этого решения. Подставляя § в уравнение системы, имеющее тот же номер i, получаем

I к ф i

Отсюда

I 2 \aik\, к ф1кф1

что противоречит условию.

Применяя предложение 4 к транспонированной матрице, мы увидим, что для невырожденности матрицы А также достаточно чтобы элементы главной диагонали доминировали над элементами столбцов, а не строк, т. е.

| ан |ак{

кф I

Пусть дано какое-то условие невырожденности матрицы. Мы можем применить его к матрице А — ХЕ и получить множество точек ^ комплексной плоскости, в котором заведомо не лежат корни характеристического многочлена А. Этим мы покажем, что все корни лежат в множестве, дополнительном к ^. Такие рассуждения используются для доказательства ряда локализационных теорем. Воспользуемся ими в сочетании с предложением 4.

Предложение 5. Все характеристические числа матрицы А содержатся в объединении кругов

5 la«l> l' = 1L(3)

кф I

Действительно, если число X не принадлежит к объединению кругов, каждое из условий (3) должно быть нарушено и, следовательно, матрица А — ХЕ должна иметь доминирующую главную диагональ.

Круги (3) мы назовем локализационными кругами матрицы А. Если aik = 0 при k ^ I, то i-й круг стягивается в точку. Например, для единичной матрицы объединение кругов состоит из одной точки.

Слову «стягиваться» мы придадим точный смысл, если введем перед недиагональными элементами матрицы А множитель t и будем рассматривать матричную функцию F (/) для te [0, 1] с элементами fa (/) =, а» и fik (/) = taik при t =А к. Если t -*• 0, то радиусы кругов матрицы F (/) стремятся к нулю, а центры оста- йтсй на месте.

Используем без доказательства теорему о том, что корни многочлена — непрерывные функции от его коэффициентов *). Коэффициенты характеристического многочлена матрицы F (0 — многочлены от ее элементов и, следовательно, непрерывные функции от t. По этой причине и характеристические числа F (/) — непрерывные функции от /. Каждый из корней при изменении / от 1 до 0 описывает на комплексной плоскости непрерывную дугу. Точнее говоря, для каждого характеристического числа Ху матрицы А найдется непрерывная дуга, начинающаяся в Ху и кончающаяся в некоторой точке ait, причем в каждой из этих точек кончается хоть одна из дуг.

Чтобы представить себе, какие тут есть возможности, рассмотрим следующий пример. Пусть

Характеристические числа F (/) равны Хх — —3 + 2 ]/ 1 — /2 и Х2 = —3 — 2 V1 — /2. При изменении / от 1 до 0 они расходятся

Рис. 2.

из точки —3 в точки —1 и —5. Если / 2$ 4/5, то в меньший из кру. гов | X + 1 | sg i не попадает ни одно характеристическое число. При / с 4/5 одно из них лежит в меньшем круге, а одно — в большем | X + 5 | $g 4/, и оба круга не пересекаются (рис. 2). "

J) См. Островский [25].

Дуги могли бы не иметь общих точек, сходиться из разных точек в одну и т. д.

Если один из локализационных кругов матрицы А не пересекается с остальными, то не пересекается с остальными и соответствующий круг матрицы F (/) при любом / е [0, 1]. А это значит, что дуга, кончающаяся в центре этого круга, лежит в нем целиком. Действительно, если круги не пересекаются, характеристическое число не может попасть ни в какой другой круг непрерывным перемещением, не проходя через точки, не принадлежащие объединению кругов. Так как при любом / оно должно лежать хоть в одном круге, оно будет оставаться в рассматриваемом. Таким образом, если один из локализационных кругов матрицы А не пересекается с остальными, в нем лежит хоть одно характеристическое число. Возможно, их окажется и больше, как показывает следующий пример. Матрица .5 1 0

0 1 2

0 2 1.

имеет два непересекающихся локализационных круга | X — 1 | ^ 2 и | X — 5 | ^ 1. В первом из них лежат два характеристических числа —1 и 3.

Однако легко заметить, что первый круг порождается второй и третьей строками матрицы, и, следовательно, мы имеем право считать его дважды.

Предложение 6. С учетом кратностей локализационных кругов и характеристических чисел, множество из г локализационных кругов, не пересекающихся с остальными п — г кругами, содержит ровно г характеристических чисел.

Предложение это доказывается при помощи приведенных выше соображений, и читателю предоставляется провести это доказательство, если он пожелает.

Следствие. Если некратный локализационный круг вещественной матрицы не пересекается с остальными, то в нем лежит вещественный корень.

Действительно, в противном случае комплексно сопряженный корень должен был бы лежать в этом круге, так как центр круга находится на вещественной оси.

Замечания и следствия. Второе множество локализационных кругов можно получить, используя столбцы вместо строк: все характеристические числа матрицы лежат в объединении кругов

|^-а«| У \акД.

k^i

Это может уточнить расположение корней.

Другой способ улучшения оценки состоит в применении ее к матрице S^AS. Если S — диагональная, то каждая строка А

умножится на какое-то число, а столбец с тем же номером — на обратное число. Поэтому центры кругов останутся на месте, а радиусы изменятся. Можно постараться выбрать S так, чтобы они уменьшились.

Области локализации, отличные от кругов, можно получать, пользуясь предложением 9 § 3. Пусть В = р (Л) — многочлен от А. Тогда

^W-M=5Sl^|. (4)

Области такого вида могут дать очень точную локализацию, но ее использование затруднено. В предельном случае, если р — характеристический многочлен, (4) сводится к условию р (X) = 0.

При помощи локализационных кругов можно получить оценки для вещественных частей и для модулей характеристических чисел. Например, для каждого характеристического числа X

(5)(5)Re X$5 max Rea,z + 2 1а^\ _к ф i.

(5)

(5)

ReX2smin Ren,;— 2 |azfc| _к ф£_

так как самая левая и самая правая точка в i-м круге — это точки

а» - S I а^ । И а» + 2 ! а1к I-k ф Iк ф i

Поскольку | X — azz | ^ | I X | — I а» I |, найдется такой номер i, что

IX |। ан | + 2 I atk | = 2 Iaik I’I ф kк = 1

и мы снова приходим к оценке в) стр. 103. Аналогично, используя столбцы, а не строки, находим оценку-г)

j х j $с 2 I I ■

к = 1

Пусть и — максимальная из сумм модулей элементов по строкам, а и — максимальная из сумм модулей элементов по столбцам. Тогда полученные выше неравенства можно объединить так:

| Х| s^min (и, и).

Рассмотрим матрицу А, для которой условия (2) выполнены не для всех значений i, а только для г из них. Из предложения 4 следует, что в А существует подматрица порядка г с доминирующей главной диагональю и, следовательно, минор порядка г, отличный от нуля. Итак, Rg А г. "

Пусть теперь для некоторого характеристического числа Ау матрицы Л ранг матрицы Л — Ayf равен г. Тогда ни один минор порядка г + 1 не может иметь доминирующей главной диагонали, и, следовательно, условия (2) нарушаются для п — г значений индекса I. Это означает, что число Ао лежит в п — г кругах. Отсюда

Предложение?. Если собственному значению Ао преобразования к принадлежат п — г линейно независимых собственных векторов, то Ао лежит в п — г локализационных кругах матрицы Л преобразования к.

Из формул (5) вытекает такое достаточное условие положительной определенности квадратичной формы:

Предложение 8. Если матрица квадратичной формы имеет доминирующую главную диагональ и положительные элементы на главной диагонали, то квадратичная форма положительно определена.

Действительно, согласно (5) все характеристические числа матрицы положительны.

Сказанного здесь достаточно, чтобы представить себе возможные приложения локализационных кругов.

Перечисленные в этом параграфе локализационные теоремы просто доказываются и применяются. Некоторые важные результаты этой теории, не обладающие указанным свойством, мы не имеем возможности изложить здесь. В частности, это относится к критериям Раусса — Гурвица и Ляпунова. Они дают необходимые и достаточные условия, при которых все характеристические числа матрицы имеют отрицательные вещественные части. Восполнить указанный пробел читатель может при помощи специальных руководств по теории матриц, например книге Гантмахера [8].

ГЛАВА III

ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ

Введение ,

Цель главы. В современных условиях инженер или научный работник, решающий сколько-нибудь значительную систему линейных уравнений, естественно, воспользуется ЭВМ. Для этого существуют хорошо отлаженные и эффективные программы, и потому для большинства читателей этой книги практическое решение системы линейных уравнений сведется к написанию обращения к какой-либо стандартной программе или процедуре. Однако для правильной постановки задачи, выбора программы и интерпретации результатов очень важно быть знакомым с применяемыми алгоритмами, а также с основными трудностями, возникающими при решении линейных систем, и путями их преодоления. Об этом и будет идти речь в настоящей главе.

Разумеется, программное обеспечение ЭВМ постоянно совершенствуется. Разработка новых алгоритмов и программ для решения задач линейной алгебры остается актуальной проблемой. Но следует иметь в виду, что написание программы, которая могли бы превзойти по эффективности уже существующие, — трудное дело, требующее не только глубоких познаний, но и практического опыта. Поэтому для тех, кто готовит себя к такого рода деятельности, эта глава может служить лишь началом. Отметим в этой связи, что достаточно полное изложение результатов, относящих^ к теме любого из параграфов этой главы, может составить содержание целой книги.

В § 1 мы в общих чертах рассмотрим основные трудности, с которыми приходится сталкиваться при численном решении задач линейной алгебры. По существу, в гл. III мы переходим в область прикладной математики, и эти трудности являются специфическими для данной области.

Ошибки округления. Одна из наиболее заметных особенностей прикладной математики — это учет ошибок округления. Они связаны с тем, что на регистре ЭВМ или в ячейке запоминающего устройства может быть записано только конечное число знаков. Для определенности мы будем говорить о десятичных цифрах, хотя чаще употребляется двоичная, а распространены также восьмеричная и шестнадцатеричная записи. Числа, не представимые конечной и притом достаточно короткой десятичной дробью, должны

быть округлены и, следовательно, не могут быть представлены в машине точно. Улучшение технических средств может увеличить точность, но не может ликвидировать эту проблему.

Не следует думать, что здесь речь идет о недостатках именно машинного представления чисел. Поскольку невозможно изобразить бесконечное число знаков, представление вещественного числа бесконечной десятичной дробью должно быть округлено. Конечно, мы можем (и часто это делаем) обозначить встречающиеся нам числа отдельными символами, такими, как V^, и оперировать с этими символами, получая точные результаты вроде л V2— е2. Но употребить такой результат на что-нибудь, кроме сравнения с ответом в задачнике, можно, только если его вычислить или оценить, а следовательно, округлить. С другой стороны, можно попробовать ограничиться рациональными числами и действовать с ними, как с обыкновенными дробями. Но если нужно произвести не очень маленькое количество арифметических операций, это будет приводить к дробям с очень большими числителями и знаменателями, которые рано или поздно придется округлять. Можно считать, что ошибки округления в численных расчетах столь же неустранимы, как и ошибки измерения в физике.

Заметим, что возможности увеличения точности в принципе очень велики. Используя специально составленные программы, можно записывать числа и производить с ними арифметические операции с точностью, далеко превосходящей обычную рабочую точность ЭВМ (см., например, Дрейфус и Ганглоф [12]). Однако и двести десятичных знаков обеспечивают только приблизительное представление чисел. Кроме того, применение подобных приемов увеличивает время счета до величин, не приемлемых для реальной работы. Поэтому для задач линейной алгебры этот подход не имеет практического значения.

Рассмотрим два основных способа приближенной записи чисел.

Представление с фиксированной запятой. Обозначим через Fr-( множество чисел, которые записываются при помощи г десятичных цифр со знаком + или —, причем t цифр расположены после запятой, т. е. изображают дробную часть. Множество Fr- t конечно, хотя при большом г и очень велико. Вещественное число а можно приближенно представить числом из Fr, (, если целая часть а меньше чем 10г-< или, иначе, может быть записана г — t десятичными цифрами.

В этом случае или а е Fr, t, или в Fr, t существуют числа а' и а" — ближайшее снизу и ближайшее сверху к числу а. Если | а — а | $5 | а — а" |, то приближенным представлением а числами из РГ] t считается а', в противном случае — а".

Число а лежит в интервале (а', а") и потому находится не дальше чем на ~(а“~а'), хоть от одного из его концов. Очевидно, что а" — а' = 10 z. Отсюда следует

Предложение 1. Если число а приближено числом а из Fr_ t, то модуль абсолютной погрешности | а — а | не превосходит КН.

Представление с плавающей запятой. Пусть р, — число из полуинтервала [0,1, 1), принадлежащее множеству Fdid, a k — целое число, по модулю не превосходящее р. Мы обозначим через Ed-P множество чисел вида ±p-10ft. Нуль также включается в EdiP. Число р называется мантиссой, ай — порядком числа из Ed,p.

Если число а по модулю меньше чем 10р и больше чем 10"р, то оно может быть представлено числом а из EdiP. С этой целью оно записывается в виде ±m-10fc, где т е [0,1, 1), а к— целое число. Затем т приближенно представляется числом р из Fdid. При этом абсолютная погрешность а — а по модулю не превосходит у 10fc-d. Для модуля относительной погрешности имеем

22^1 _ J2^1/l inw2 | a j 2т10*2*

поскольку т-110. Итак, справедливо

Предложение 2. Если число а может быть приближено числом из Ed.p, то относительная погрешность, с которой это может быть сделано, по модулю не превосходит у Ю1-"1^, где d — число разрядов в мантиссе.

Каждая из форм записи чисел имеет свои преимущества. При представлении чисел с фиксированной запятой арифметические операции выполняются быстрее, но диапазон чисел, представимых в такой форме, значительно уже. Представление чисел с плавающей запятой распространено значительно шире именно из-за возможности представить в такой форме числа, сильно различающиеся по величине. Подробнее об этом можно прочесть, например, в книге Воеводина [5].

Нужно четко представлять себе, что обычные арифметические операции не являются операциями на множествах Fr-i или Ed, р, поскольку результат такой операции, примененной к элементам какого-либо из этих множеств, этому множеству, вообще говоря, не принадлежит.

Поэтому строятся, по существу, новые операции, приближенно изображающие обычные арифметические операции. Мы обозначим их х, +, X и т. д. Определяются все эти операции сходным обра- F F Е

зом. Определим, например, +. ‘Е•

Пусть а и b — числа из Ed-P. Рассмотрим их обычную «точную» сумму с = а + Ь. , Если | с | ^ 10'р, то полагаем а + b = 0.

Е

В этом случае говорится, что результатом сложения является машинный нуль. Если | с | >■ 10р, то результат операции не опре-

делен. Тогда говорят, что имеет место «переполнение». Таким образом, операция + определена не всегда. (В общей алгебре такого Е

рода операции называются частичными, но мы не будем вводить этот термин.) С возможностью переполнения приходится постоянно считаться.

Далее, если КГР < (с | < 10р, то в Еа,р существует число с, являющееся приближением для с, и мы положим а + b = с. Иначе

Е

говоря, точная сумма округляется и представляется в форме с плавающей запятой. Полученное число считается приближенным значением суммы. Разность с — с есть ошибка округления, возникающая при сложении.

Точность представления чисел в системе с плавающей запятой может быть охарактеризована числом, называемым «машинное в». Оно определяется как наименьшее число, обладающее тем свойством, что 1 + е> 1. Рассмотрим в качестве примера операции

Е

в множестве Е^д. Прибавив к 0,1000-10* число 0,5000-10-4, мы снова получим 0,1000-10*, а прибавив 0,5001 • 10~4 получим уже 0,1001 • 10*.

Нужно отметить, что приближенные арифметические операции + , х и др. обладают совсем иными свойствами, чем точные Е Е

операции. Например, они не ассоциативны, не выполняется закон дистрибутивности, существуют делители нуля, т. е. произведение ненулевых сомножителей может оказаться равным нулю (это называется «возникновение машинного нуля при умножении»).

При выполнении большого числа арифметических операций ошибки округления накапливаются: результат может существенно отличаться от результата выполнения соответствующих точных операций. Оценка возникающей погрешности — прямой анализ ошибок округления — дело сложное и трудоемкое по причине сложности свойств приближенных арифметических операций. В некоторых случаях прямой анализ ошибок округления может быть заменен применением принципа, называемого обратным анализом ошибок округления. Согласно этому принципу приближенное решение какой-либо задачи, например системы линейных уравнений, является точным решением некоторой близкой задачи, в нашем примере — системы линейных уравнений с немного измененными коэффициентами. Вместо того чтобы оценивать отличие приближенного решения от точного, можно оценить отличие коэффициентов исходной и измененной систем. Обратный анализ ошибок округления реализуется намного проще, чем прямой.

Приведем типичный пример задачи, в которой можно обойтись обратным анализом ошибок. Пусть коэффициенты системы линейных уравнений получены в результате физических измерений и, следовательно, известны нам с некоторой ошибкой. Если в результате обратного анализа будет показано, что влияние ошибок округ-

деяия равносильно искажению коэффициентов, не превосходящему ошибок измерения, то можно считать, что вычисления производятся с достаточной точностью, и не интересоваться отличием вычисленного решения от точного решения системы, которая сама определена недостаточно точно.

Влияние неточности исходной информации. Если какая-либо практическая задача сводится к системе линейных уравнений, то коэффициенты и свободные члены системы, как правило, известны не точно, а с некоторыми погрешностями. Кроме того, как было сказано выше, запись исходных данных и вычисления связаны с ошибками округления, влияние которых равносильно некоторому искажению коэффициентов и свободных членов.

Избежать указанных искажений мы не можем, но можем, во-первых, оценить получаемую погрешность, а во-вторых, постараться выбрать такой метод решения системы, который не увеличивал бы неопределенность результата, уже заложенную в самой системе.

Мы будем стоять на следующей точке зрения: задана система линейных уравнений Ах = Ь, которую мы будем называть исходной или невозмущенной системой. Рассматривается еще одна система, называемая возмущенной системой, -про которую известно, что ее коэффициенты и свободные члены лежат в заданных интервалах

^atj-Aay, ацА-Аа^, <bt-Abt, btA-Ab^,

где Щ] и bt — коэффициенты и свободные члены исходной системы.

Погрешностью решения мы будем называть разность между решениями исходной и возмущенной систем. (При этом предполагается, что каждая из систем имеет единственное решение.) Согласно этому определению погрешность — столбец, и оценить погрешность можно только по какой-либо норме в арифметическом пространстве. В примерах этого параграфа рассматривается исключительно евклидова норма.

Рассмотрим простейший случай — систему из двух линейных уравнений с двумя неизвестными. Невозмущенная система имеет ВИД

ах A-by = с,

9 (1) агхА-Ь1У = Су,

и пусть известно, что коэффициенты при переменных заданы точно, а возмущены только свободные члены, т. е. Аа = АЬ = Ас^ = = Abi = 0.

Геометрически каждое уравнение невозмущенной системы изображается прямой линией на плоскости. Соответствующее уравнение возмущенной системы — параллельной ей прямой, которая дежит внутри некоторой полосы (рис. 3). Для первого уравнения, йапример, полоса ограничена прямыми

ах -[- by = с — Ас и ахА-Ьу=сА-Ас.

Таким образом, решения возмущенной системы лежат внутри параллелограмма, являющегося пересечением полос.

Погрешность решения изображается вектором (Дх, Д//), длина которого может достигать половины длины наибольшей диагонали параллелограмма. Поэтому искажающее влияние возмущений свободных членов системы при полосах одинаковой ширины тем больше, чем меньше угол между прямыми (1).

В общем случае, когда и коэффициенты истинной системы отличаются от коэффициентов исходной, прямые, изображающие уравнения, не только сдвигаются, но и поворачиваются. Параллелограмм заменяется более сложной фигурой, но общий результат остается тот же: чем меньше угол между прямыми (1), тем, как говорится, хуже обусловлена система, т. е. такое же возмущение коэффициентов модt^t>cжет вызывать большую

х ц*погрешность решения.

кНаша задача — точ-

\н0 0ПРеДелить и п0 воз

можности количественно измерить свойство систе- , /х^хх X.мы линейных уравнений

'быть хуже или лучше

/обусловленной.

На разобранном нами примере хорошо вид£но, что при замене систе- 0.мы на эквивалентную

рис. з.ей систему ее обуслов

ленность изменяется, так как при этом пара прямых (1) заменяется другой парой, пересекающейся в той же точке. Могло бы показаться, что лучше всего обусловлена система, если прямые, ею изображаемые, перпендикулярны. Однако более подробное исследование, учитывающее ширину полос, показывает, что это не всегда так. Рассмотрим, например, систему

103х=1,

10-3z/ = — IO-3.

Для нее относительно небольшое изменение свободных членов 'Дсх = 0, Дс2 = Ю-3, при котором

- || Ac j| = /(ДС1р + (АСа)2 ~ 10_3к II V^+cl ~

приводит к погрешности решения, равной (0, 1), и относительной погрешности'

"■ II A* II =~ J

j Цх| = Ух^у» ~ *

Легко заметить, что плохая обусловленность этой системы связана с тем, что среди ее коэффициентов и свободных членов встречаются сильно различающиеся по величине. Положение может быть исправлено умножением второго уравнения на 103.

Посмотрим на вопрос с другой точки зрения. Систему линейных уравнений мы можем интерпретировать и иначе — как задачу отыскания прообраза точки с' (ст + Aclf са + Ас2) при аффинном преобразовании плоскости

x* = a.x-\-by1

У* ~ aix 4- Ь\у.

Будем считать, что аффинное преобразование известно точно: Ай = \ах = ^Ь = АЬХ = 0, но про точку С известно только то, что она лежит внутри некоторого круга радиуса р с центром С (Cj, с2). Прообраз круга — эллипс, и потому решение возмущенной системы лежит внутри эллипса. Центром этого эллипса является прообраз центра круга, т. е. решение невозмущенной системы.

При аффинном преобразовании прообразы всех окружностей имеют одинаковое отношение полуосей. Пусть Хр и цр (X > ц) — полуоси прообраза окружности радиуса р. Тогда длина 6 вектора погрешности (Ах, Ау) не превосходит Хр.

Для получения оценки относительной погрешности оценим снизу длину вектора, изображающего решение невозмущенной системы. Так как точка С лежит на окружности радиуса г = = V с\ + сХ с центром в начале координат, ее прообраз — точка с координатами (х0, у0) отстоит от начала координат не меньше чем на цг. Таким образом, d = У хХ + уХ ^ цг, и для относительной погрешности решения получается оценка

Здесь р/г — максимальная относительная погрешность столбца свободных членов.

Итак, отношение полуосей эллипса Х/ц можно рассматривать как число, характеризующее обусловленность системы (1).

Здесь, в частности, хорошо видно, что плохая обусловленность системы не связана с величиной детерминанта: она зависит от отно- щения полуосей эллипса, в то время, как детерминант равен отношению площадей окружности и эллипса и никак не связан с формой эллипса.

х 4-0,99// = 1,01, х+ 1,01у = 0,99х 4-0,99// = 1,01, х+ 1,01у = 0,99Почти вырожденные матрицы. Возмущение коэффициентов системы линейных уравнений может не просто немного исказить ее решение, а иметь более серьезные последствия. Система линейных уравнений "

х 4-0,99// = 1,01, х+ 1,01у = 0,99

х 4-0,99// = 1,01, х+ 1,01у = 0,99

имеет единственное решение, но за счет изменения ее коэффициентов и свободных членов на 1 % можно получить как противоречивую систему, так и систему, имеющую бесконечно много решений.

В приведенном примере детерминант матрицы системы мал по сравнению с ее коэффициентами. Нетрудно, однако, привести пример матрицы, детерминант которой не может рассматриваться как малое число, но обращается в нуль при малом возмущении элементов матрицы. Рассмотрим, например, диагональную матрицу, скажем, двенадцатого порядка, у которой все элементы на диагонали равны десяти, кроме последнего, равного 10"10. Детерминант такой матрицы равен 10, но может быть обращен в нуль изменением одного элемента на 10'10.

Причина этого заключается в следующем. Будем рассматривать элементы матрицы как независимые переменные. Детерминант— линейная функция от каждой из этих переменных, причем коэффициент при переменной аи равен дополнительному минору этого элемента, умноженному на (—1)'+/. Отдельные миноры порядка п —1 могут оказаться велики по сравнению1 с детерминантом. В этом случае малое изменение одного элемента может повлечь обращение детерминанта в нуль. Подробнее этот вопрос будет рассмотрен в § 2.

Сейчас нам следует подчеркнуть принципиальную важность этого явления. Если числа не могут быть заданы точно, то стирается четкая грань между вырожденными и невырожденными матрицами. Появляется класс почти вырожденных матриц, границы которого зависят от принятой в данном конкретном исследовании меры точности. Про почти вырожденную матрицу нельзя сказать, вырождена она или нет, так как, изменяя ее элементы в пределах заданной точности, можно получить как вырожденную, так и невырожденную матрицу. Поэтому при приближенных вычислениях надо с большой осторожностью относиться к фразам типа «пусть матрица А невырождена ...», которыми пестрит курс линейной алгебры.

Если в системе линейных уравнений матрица оказалась почти вырожденной, то лучше вернуться к постановке той задачи, которая привела к рассматриваемой системе линейных уравнений, для того чтобы получить дополнительную информацию о системе. Может случиться, например, что по смыслу задачи решение должно быть единственным. Некоторый подход к тому, что в этом случае следует считать решением системы, будет обсужден в гл. IV, но это только одна из возможностей. В действительности, надо четко представлять себе, что количественная неопределенность исходной информации в этом случае оказывает качественное влияние на решение, и правильнее будет сосредоточить усилия не на решении системы, а на уточнении постановки задачи.

Нетрудно заметить, что появление класса почти вырожденных матриц связано более с природой приближенных вычислений,

чем со свойствами детерминанта как функции от матрицы. Поскольку эта функция непрерывна, множество невырожденных матриц открыто (см. Кудрявцев [16], т. I, стр. 329). Это означает, что у невырожденной матрицы До существует окрестность || Д — — До II < е, также состоящая из невырожденных матриц. Однако мы не можем рассматривать произвольно малые окрестности — радиус окрестности не может быть меньше, чем некоторое число е0, бпределяемое точностью вычислений или величиной возможного Возмущения матрицы. Почти вырожденные матрицы — это такие, у которых в окрестности радиуса е0 найдется вырожденная матрица.

Эти соображения имеют достаточно общий характер и приводят К тому, что вдоль границы любого открытого множества е^ появляется «полоса неопределенности» ширины е0, составленная из Е0-окрестностей граничных точек множества е^. За пределами Этой полосы принадлежность к множеству может быть проверена численно. Напротив, принадлежность к границе численно проверена быть не может: при произвольно малом смещении можно йопасть из граничной точки в точку множества.

При учете ошибок округления и возмущений делаются расплывчатыми границы таких множеств, как множество матриц некоторого фиксированного ранга, множество матриц простой структуры (т. е. таких, у которых минимальный многочлен не имеет кратных Корней), расплывчатым становится понятие линейно зависимой системы векторов и многое другое. '

Знакомая из общего курса линейная алгебра по отношению ко всему этому играет роль абстрактной модели, подобно тому как евклидова геометрия есть абстрактная модель для чертежей, реально выполняемых карандашом на бумаге.

Ограниченность памяти. В основе трудностей, связанных С ошибками округления, лежит конечность числа разрядов, которые мы можем отвести для записи числа. При практическом решении систем линейных уравнений существует еще один источник Трудностей также на первый взгляд количественного характера, но в действительности имеющий принципиальное значение. Дело в том, что размеры оперативного запоминающего устройства ЭВМ ограничивают размеры (т. е. число уравнений и переменных) решаемых систем. Правда, объем внешних запоминающих устройств настолько велик, что не накладывает чувствительных ограничений, ЦО использование этих устройств связано с другими трудностями, В первую очередь со сравнительно большими затратами времени.

Читателю, не имевшему дела с программированием, проще Всего представлять себе дело так. Вы решаете систему линейных уравнений на классной доске. Она расчерчена на клетки, и в каждой клетке можно записать одно число. После того как доска исписана, дальше писать можно, только стерев что-нибудь. Есть еще и Тетрадь, но она хранится так, что доставать ее долго, и, кроме

того, списывать с доски в тетрадь или обратно нужно обязательно целое число страниц. Ясно, что решить при таких условиях систему, матрица которой не уменьшается на доске или занимает ее почти целиком, можно, только проявив известную изобретательность и затратив дополнительное время.

Хотя и объем запоминающих устройств и быстродействие вновь создаваемых ЭВМ быстро возрастают, потребности практики растут еще быстрее. Поэтому решение слишком больших для данной ЭВМ систем уравнений всегда останется актуальной задачей.

Конечно, при реализации любого алгоритма большое внимание уделяется экономии места в оперативной памяти, но при фиксированном ее объеме, по-видимому, имеется некоторый максимальный порядок систем линейных уравнений общего вида, которые можно решать без чрезмерно частого обращения к внешним запоминающим устройствам. Решение систем большего порядка возможно при некоторых дополнительных предположениях, позволяющих применить специальные методы решения.

Встречаются следующие основные виды матриц, для хранения которых требуется меньше места, чем его требуется для хранения матрицы того же порядка в общем случае.

Вычислимые матрицы. Пусть элементы матрицы могут быть просто вычислены по каким-то исходным данным, которые занимают сравнительно мало места. В этом случае, вместо того чтобы помнить элементы матрицы, можно их каждый раз заново вычислять. Конечно, это увеличивает время счета, но часто такой компромисс оказывается приемлемым.

Разреженные матрицы. Так называются матрицы, у которых большая часть элементов равна нулю, причем не предполагается, что ненулевые элементы расположены по какому-либо известному закону. Мы можем запоминать только ненулевые элементы разреженной матрицы, но придется затрачивать дополнительное время и память на то, чтобы указать, в какой строке и каком столбце лежит данный ненулевой элемент.

Например, простейшая схема состоит в том, чтобы вместе с элементом матрицы запомнить номера его строки и столбца. Если сделать это опять-таки самым простым, но не самым экономным способом, и отвести на хранение номеров по одной ячейке, то общее число потребующихся ячеек окажется втрое больше числа ненулевых элементов. Если при этом матрица заполнена на 1/5, то еще не ясно, стоит ли полученная экономия дополнительных затрат времени и усложнения программы. Практически матрицу больших размеров имеет смысл считать разреженной, если число ненулевых элементов имеет тот же порядок, что и число строк в матрице.

Разреженные матрицы встречаются во многих вопросах прикладной математики. Описание способов их хранения и переработки можно найти в книге Тьюарсона [32].

Промежуточное положение между двумя описанными выше классами матриц занимают матрицы, которые можно назвать матрицами специальных видов. Они имеют нули на заранее известных местах или часть их элементов вычисляется по остальным элементам, которые должны храниться. Вспомним, например, матрицы диагональные, симметричные или треугольные.

' . Из матриц специального вида, не встречавшихся нам до сих пор, стоит сказать о ленточных матрицах. Матрица Л называется ленточной, если ее элементы таковы, что ац = О при | i — / I > ^, где & — некоторое фиксированное число. Это значит, что отличными от нуля могут быть только те элементы матрицы, которые лежат внутри «ленты» ширины 2^+1, идущей вдоль главной диагонали.

Ленточные матрицы часто встречаются в разных приложениях. Происходит это по следующей причине. Пусть система уравнений описывает связи, имеющиеся между составными частями некоторого реального объекта. При большом числе составных частей естественно, что не все они окажутся связанными друг с другом непосредственными связями. Если непосредственно связаны те из частей, номера которых отличаются не больше чем на к, то матрица связей окажется ленточной.

Для часто встречающихся специальных видов матриц разработаны модификации большинства известных алгоритмов и специальные алгоритмы, позволяющие использовать вид матрицы. Так, существуют отдельные алгоритмы для решения систем линейных уравнений с симметричными или с ленточными матрицами, и для нахождения собственных значений и собственных векторов преобразований с такими матрицами. Эти алгоритмы работают более эффективно й позволяют решать задачи большей размерности за счет использования специального вида матриц. Мы не будем заниматься этими алгоритмами.

Выбор метода решения системы линейных уравнений или вообще любой задачи, касающейся матриц, самым существенным образом зависит от способа хранения матрицы. Такие методы, как известный из общего курса метод Гаусса, хороши для не слишком больших матриц общего вида. Для больших матриц, при хранении которых используются их особые свойства, методы решения систем уравнений, основанные на преобразовании матрицы системы, применять неудобно. В процессе преобразований разреженная матрица становится плотно заполненной, если только не принять специальных мер по поддержанию разреженности. Точно так же, если элементы матрицы вычисляются по простым формулам, элементы преобразованной матрицы, вообще говоря, уже не обладают этим свойством. Поэтому для решения систем линейных уравнений с большими матрицами чаще применяются специальные методы, например итерационные методы, рассматриваемые в § 4.

Обусловленность'

Верхняя оценка возмущения. Пусть дана исходная система линейных уравнений

Ax = b,(1)

где А — квадратная матрица порядка п и det А ^ 0. Рассмотрим возмущенную систему

(Л + 6Х)^ = 6 + 66.(2)

Прежде всего, не ясно, будет ли система (2) иметь единственное решение так же, как и (1). Ниже мы наложим на 6Л достаточное для этого условие. Наша ближайшая задача — оценить при этом условии норму разности решений обеих систем.

В этом параграфе под матричной нормой всюду понимается норма, обладающая кольцевым свойством и согласованная с нормой в пространстве столбцов.

Предложение 1. Пусть для некоторой матричной нормы квадратная матрица В удовлетворяет условию || В || йм р < 1. Тогда существует матрица (Е + В)-1 и II (Е + В)-1 || ^ (1 — р)-1.

Доказательство1). Из оценки спектрального радиуса матрицы (предложение 1 § 5 гл. II) вытекает, что все собственные значения матрицы В лежат в круге | X | р» т. е. внутри круга сходимости разложения функции (1 + X)"1 по степеням X. Это гарантирует существование матрицы (Е + В)-1, равной сумме ряда Ё — В + В2 —...

Для частичной суммы этого ряда, согласно (12) § 4 гл. I, имеем оценку _

is.i<2iB‘i«i<Bis<-^-оо

Отсюда переходом к пределу при X -> оо получаем требуемое неравенство.1

Перейдем теперь к оценке нормы возмущения решения, т. е. || 6x11 = II .у— х II, где .у — решение системы (2), а х— решение (1). Для этого вычтем (1) из (2). Мы получим

(Л + 6 Л) (х + бх) — Ах = бд, или

(Л + 6Л)6х + 6Лх = 66.(3)

Запишем А + 8Л в виде А (Е + Л-1 б Л) и предположим, что

М'1ММ8 = Р<1.(4)

г) Доказательство использует материал гл. II. Читателю, не изучавшему етой главы, можно принять предложение 1 без доказательства,

Тогда ||Л-16ЛЦ^р и, согласно предложению 1, матрица Е + + Л-16Л имеет обратную. Следовательно,

(Л + 6Л)-1 = (Е + Л-16Л)-1 Л-1,

и из (3)

бх = (Е + л-16Л)-1 л-166 - (Е + Л-16Л)-1 л-1 бЛх. Отсюда

fSx^-^M-1M66||-Tl7M-1lWHx|.

Из равенства (1) следует, что pj^j Л||- |х|. Усилим неравенство, умножив первый член правой части на ||Л||- |х||/Цб|. Тогда

с(Д)||х|| II 66 II _ с (Л) II XII Ц5ДЦ

гдегде1-Р НИ 1-Р ||ЛР

где

где

(5)(5)С(Л) = м-Ч-М|.

(5)

(5)

Разделим на Ц х | и учтем, что

Р = цбЛ||.м-1|| = С(Л)1М

Мы получим окончательную оценку

ИМ1|х IIИМ1|х IIС И)С И)1М цббщIIЛII + ||6|| У"1М цббщIIЛII + ||6|| У"

ИМ

1|х II

ИМ

1|х II

С И)

С И)

1М цббщ

IIЛII + ||6|| У"

1М цббщ

IIЛII + ||6|| У"

Число с (Л), введенное формулой (5), называется числом обусловленности матрицы Л в рассматриваемой норме.

Теперь мы можем сформулировать следующий результат.

Предложение 2. Пусть матрица коэффициентов и столбец свободных членов системы (1) получили возмущения б Л и 6Ь, причем в некоторой матричной норме II Л'1 || - ||6Л||<;1. Тогда возмущенная система имеет единственное решение, и относительное возмущение II бх ||/|| х II решения системы (1) оценивается через относительные возмущения а = || 6Л ||/|| Л || и 0 = Ц66Ц/Ц 6|| матрицы системы и столбца свободных членов формулой

(6)(6)6x1 с (Л) (а + Р) |jxj 1— с (Л) а ’

(6)

(6)

где с (Л) — число обусловленности матрицы Л в рассматриваемой норме. •

Примечательно, что в правую часть (6) входят только относительные возмущения Л и Ь. Матрица Л представлена только своим числом обусловленности, а столбец b не входит совсем.

Число обусловленности. Согласно предложению 2, чем больше число обусловленности, тем большее относительное возмущение решения возможно при таких же относительных возмущениях ис-

ходных данных. Число обусловленности определяется не только матрицей, но и выбором нормы. Для различных норм формула (6) будет давать разные оценки относительного возмущения, более грубые или более точные. В этом пункте мы рассмотрим вычисление числа обусловленности матрицы и выведем некоторые его свойства.

Начнем со следующих простых соотношений, имеющих место для любой нормы. Непосредственно из определения вытекает

с (А) = с (Д1).(7)

Перемножая неравенства || А В || -с II А || ■ || ВЦ и || (ДВ)'1 || = = || B'Vr1!!||В”1||Д| Д-1||, получаем

с(ДВ) sgc(A)c (В).(8)

Далее, из А-1А = Е следует с (Д) ^ II Е ||. Поскольку || Е || Sal (см. (11) § 4 гл. I), получаем

с(Д)^||В||^1.(9)

Пусть Hj и а„ — наибольшее и наименьшее сингулярные числа матрицы А. Согласно предложению 14 § 4 гл. I для спектральной нормы имеем ||Д Ц = alf а по формуле (16) § 4 гл. I II Д-1 II = «Д. Поэтому число обусловленности в спектральной норме (или, как говорят, спектральное число обусловленности) находится по формуле

сИ) = ^-.•(10)

В § 1 из геометрических соображений мы получили, что обусловленность системы из двух уравнений с двумя неизвестными характеризуется отношением полуосей некоторого эллипса (прообраза окружности при линейном преобразовании, определяемом матрицей системы). Вспоминая геометрический смысл сингулярных чисел и формулу (10), мы замечаем, что это отношение как раз и есть спектральное число обусловленности.

Из (10) сразу следует, что для ортогональной (а также для унитарной) матрицы спектральное число обусловленности равно 1.

Из соответствующего свойства спектральной нормы (предложения 13 § 4 гл. I) следует, что спектральное число обусловленности с (Д) не меняется при умножении А на ортогональную (унитарную) матрицу. В силу этого обстоятельства при решении систем линейных уравнений предпочтительнее умножать матрицу системы на ортогональные преобразующие матрицы.

Рассмотрим теперь неравенства, связывающие числа обусловленности, соответствующие различным нормам. Если две нормы Ф и ф таковы, что для любой матрицы ф (Д) $5 Рф (Д), то соответствующие числа обусловленности, как легко видеть, связаны неравенством.

Евклидова норма матрицы равна квадратному корню из суммы квадратов ее сингулярных чисел, а спектральная норма — максимальному сингулярному числу. Поэтому из неравенства

а* =^ па?

£= 1

следует | А || ^ J А sg Уп II А II, и потому

с(Л)^с£(Л)<пс(Л).(11)

Аналогично, из

. max | а,7 |2 ^ ^ | а;/12 $с п2 max | ау |2 г-'ь/

мы получаем неравенства для нормы || А [С' = п max | ау | и евкли- и j

довой нормы

У п

а из них—оценки для чисел обусловленности

1Сс, ^Се^Сс(12)

Для вычисления сс- нет хороших формул, удобных для теоретических исследований, но для конкретной матрицы оно легко может быть сосчитано, если известна обратная матрица. Наоборот, для спектрального числа обусловленности есть хорошая общая формула, но для конкретной матрицы общего вида вычислить его сложнее.

Практическое использование чисел обусловленности для оценки погрешности при решении конкретной системы затруднено тем, что при решении системы обратная матрица не вычисляется, и число обусловленности можно найти ценой сравнительно больших усилий.

Почти вырожденные матрицы. Мы назвали матрицу почти вырожденной, если малым изменением ее элементов она может быть превращена в вырожденную матрицу. При этом класс почти вырожденных матриц зависит от принятой меры малости элементов. Пример на стр. 118 показывает, что малость детерминанта не является необходимым условием почти вырожденности. Не является это условие и достаточным, как показывает пример матрицы у £, где Е — единичная матрица, скажем, двадцатого порядка. Ниже мы покажем связь свойства матрицы быть почти вырожденной с нормой ее обратной матрицы и числом обусловленности.

Рассмотрим матрицу А и запишем разложение ее детерминанта по i-й строке в виде'

det Л = (— l)'^ ацМ\ + N,

где N — сумма членов, не содержащих элемента а^. Тогда добавка бц к элементу а,у, обращающая детерминант в нуль, должна удовлетворять уравнению

(-ly^-^ + e..) M^N-O, или

(_ 1/ + /^/ = — det Л.

Если 7И/ = 0, то очевидно, что det Л не меняется при изменении ац. В противном случае мы находим

где через Ь;{ обозначен элемент обратной матрицы Л-1.

Нас будет интересовать минимальное по модулю возмущение элемента матрицы, обращающее в нуль детерминант. Для него имеем

е = min | ev | = /max | b,, | V1.И\ И )

Здесь минимум берется по тем i, j, для которых М‘( Ф 0. Но максимум можно считать взятым по всем i, j, так как при Л1) = 0 и bj4 = 0. Подставляя сюда max | bji | = ^- [ Л”1 ^ из определения нормы В*к. получаем

е-лЦЛ-^.

Далее, пусть минимум достигается для строки и столбца с номерами к и I соответственно. Обозначим через Ем матрицу, имеющую единицу в позиции к, I и нули на остальных местах. Тогда det (Л + еЕк1) = 0 и норма добавки вЕ-t равна

|| e£w|c-= не = ^7.

Мы рассматривали здесь очень частный случай — изменение только одного элемента матрицы. В общем случае детерминант обратится в нуль и при меньших по норме добавках. Однако мы можем утверждать следующее.

Предложение 3. Детерминант матрицы Л может быть обращен в нуль добавлением матрицы, норма которой не превосходит п2 II Л'1 И?1.

Заметим, что в оценку относительного изменения матрицы Л Входит число обусловленности:

1®£И^ ... л3

*ТнГ ссдлг

В связи с предложением 3 следует вспомнить условие (4), согласно которому добавка 6Л, удовлетворяющая условию || йЛ || ^ ^ р II Л"1 |Н, где р < 1, не может обратить в нуль детерминант Л.

Таким образом, действительно необходимая для обращения детерминанта в нуль добавка по норме равна а|| Л'1 Цр1, где 1 ^ а ^ ^ га2. Это показывает, что число || Л"1 Цу-1 можно использовать в качестве меры близости матрицы к вырожденной.

Если || * || — норма в арифметическом пространстве, то, как было показано в предложении 12 § 4 гл. I, функция

gM) = infgM) = infMg]Ш1Mg]Ш1

gM) = inf

gM) = inf

Mg]Ш1

Mg]Ш1

равна нулю на вырожденных матрицах и равна I) Л-1 Ц-1 (при индуцированной норме) для невырожденной А. В частности, если норма || * || евклидова, то

II у (ЛЛ)

где а„ — минимальное сингулярное число матрицы Л (формула (16) § 4 гл. I), и, следовательно, минимальное сингулярное число может служить мерой близости матрицы к вырожденной. Основанием для этого могут служить также следующие соображения. Теорема 1м § 1 гл. I показывает, что для матрицы Л найдутся ортогональные матрицы S и Р такие, что Л' = SAP — диагональная матрица с сингулярными числами на главной диагонали. Матрица А* может быть сделана вырожденной при помощи возмущения, по норме равного минимальному сингулярному числу ап. Пусть det (А' + F') = 0. Тогда

det (Л' + F') = det S det Р det (Л - S^F'P'1) = 0,

и, следовательно, А может быть сделана вырожденной добавлением матрицы F = S^F'?'1. Но умножение на ортогональную матрицу не меняет спектральной нормы. Поэтому || F || = а„.

Мы видим, что матрица А может быть обращена в вырожденную добавлением возмущения, по норме равного ап. Соответствующее Относительное возмущение по норме равно

$ F11

Mi ~ ммл-ч'

Отсюда мы получаем

Предложение 4. Матрица А может быть превращена в вырожденную при относительном возмущении, по норре равном [с (Л)]-1, где с (Л) — спектральное число обусловленности А.

Исследуем подробнее влияние возмущения на решение системы линейных уравнений с почти вырожденной матрицей.

Квадратная матрица А может быть разложена по теореме 1м

§ 1 гл. I в произведение А = PDQ, в котором Р и Q — ортогональные матрицы, a D —диагональная о сингулярными числами мат-

рицы А по диагонали. Рассмотрим возмущенную систему уравнений(А + 6 А) (х + bx) = b + bb,

и заменим в ней А указанным разложением. Тогда <PDQ-VPPT 6AQTQ) <x + bx) = b-\-bb, откуда

(Р + Р) (у + by) = с + Ьс, где

F = PTbAQT, y~Qx, by = Qbx, c = PTb, bc = PTbb.

Отметим, что в случае спектральной или евклидовой нормы || F || = = II 6Д ||. Будем считать, что эта норма мала, во всяком случае II М II • II Д-1 II = || F 11-11 О'1 || < 1. Далее находим

D (1 + D^F) (y + by) = c + Ьс,y-Vby = ^\ — D^F + - • •) D"1 (с + Ьс).

Если пренебречь квадратами возмущений, используя у = D^c, мы получим

by = — D^FD1 + D^bc.

Матрица D^FD-1 получается из F делением всех ее строк и столбцов на соответствующие сингулярные числа. При этом диагональные элементы делятся на квадраты сингулярных чисел. Последний член получается делением компонент дс на соответствующие сингулярные числа..

Если матрица А почти вырождена и плохо обусловлена, то несколько ее сингулярных чисел (во всяком случае, а„) малы, в то время как другие (во всяком случае, aj не могут считаться малыми. Последняя компонента by имеет вид

'п. — 1

2

_Ьу£1. | fппсп | 6сп

Если предположить, что /,/ сравнимы по величине с ал, то член fnnCn/an будет превосходить по модулю все остальные слагаемые, а также остальные компоненты, в которые входит только слагаемое /l«C«/®ian-

Конечно, если окажутся малыми и некоторые другие сингулярные числа матрицы А, то полученный результат будет верен и для соответствующих им компонент погрешности by.■

Мы полагали by = Qbx. Столбцы матрицы Q образуют второй сингулярный базис матрицы А, или, что то же, первый сингулярный базис матрицы Д'1 (предложение 14 § 1 гл. I). Поэтому проведенная выше довольно грубая оценка позволяет утверждать, что справедливо

Предложение 5. Пусть сингулярные числа матрицы А разделяются на две группы — близких к нулю и далеких от нуля. Тогда для решения системы линейных уравнений с матрицей А погрешность велика за счет ее компонент по тем векторам первого сингулярного базиса матрицы А-1, которые соответствуют большим сингулярным числам матрицы А-1.

Геометрическая иллюстрация этого предложения может быть получена на примере, рассмотренном в § 1. Вектор первого сингулярного базиса матрицы А1, соответствующий большему сингулярному числу, направлен вдоль большей оси построенного там эллипса.

Можно также дать следующее интуитивное пояснение этого результата.„Если невырожденная матрица А стремится к вырожденной матрице Л, то некоторые из ее сингулярных чисел стремятся к нулю. Соответствующие им.векторы второго сингулярного базиса матрицы А стремятся к векторам, на которые натянуто подпространство решений однородной системы уравнений Лц = 0.

Вместе с тем, если „| — решение системы Л| = Ь, то любой столбец вида | +1], где Лц = 0, является решением той же системы, т. е. решение определено' с точностью до «погрешности», удовлетворяющей однородной системе.

Рассмотрение почти вырожденных матриц закончим одним частным замечанием, полезным для дальнейшего изложения. Для симметричной матрицы модули характеристических чисел являются сингулярными числами. Поэтому, если ах и ая — наибольшее и наименьшее сингулярные числа матрицы А, то а) и а„ — наибольшее и наименьшее сингулярные числа матрицы АТА. Это означает, что для спектрального числа обусловленности

с (А т Л) = [с (Л)]2. (13)

Кроме того, может случиться, что при небольшом, но заметном и„ число ая имеет порядок, сравнимый с порядком погрешностей, и потому матрица Л7'Л будет почти вырожденной, хотя А этим свойством не обладает. ■

Обусловленность задачи о нахождении собственных векторов и собственных значений. Рассмотрим линейное преобразование А, заданное в некотором базисе матрицей А. Нас интересуют собственные значения и собственные векторы этого преобразования, но нам задана не матрица А, а возмущенная матрица Л + дЛ. Существует много результатов, имеющих отношение к оценке возмущения собственных векторов и собственных значений, вызванного возмущением дЛ. Мы изучим некоторые из них. Преобразование А будет предполагаться преобразованием простой структуры. ■

В силу этого предположения, существует такая матрица S, что D = S'MS —диагональная матрица: •

■ Z) = diag(Xi, .... Х„).

Тогда

. 5-1(Л + 6Л)5 = Г> + 5"16Л5.

Пусть X* — возмущенное собственное значение, т. е. существует такой столбец £* #= 0, что (Л + дЛ) £* = X*j*. Это означает, что

(П + 5-1бЛ5)т1* = Х*г1*,

где i}* = S-1^*, или

ф-Х*Е)^* = — (З^бЛЗ)!}*-

Мы имеем.

II /Пп*

inf fl(^-V£)4|i = min|X/-X*|

и

sup Н5-16Л5)г11 = 15-1бЛ51^||6ЛЕс(5), И » bui = i

где c (S) — спектральное число обусловленности матрицы S. Поэтому

min | X,- —X* | ^|6Л Jc(S).

Матрица S, конечно, определена с большим произволом. Рассмотрим число

v(Л) = inf с (S)

— нижнюю грань чисел обусловленности всевозможных матриц, приводящих Л к диагональному виду. Очевидно, что эта нижняя грань существует и v (Л) ^ 1. Теперь мы можем написать

min j X, — X* | =С К(Л) ] 6Л 3.(14)

Предложение 6. Возмущенное собственное значение X* лежит хотя бы в одном из кругов комплексной плоскости с центрами в точках Хь имеющих радиус v (Л)6, где 6 — спектральная норма возмущения матрицы.

Как и для локализационных кругов (§4, гл. II), можно показать, что в круге, являющемся объединением т кругов (14), лежит ровно т возмущенных собственных значений. При этом следует учитывать кратности невозмущенных и возмущенных собственных значений.

Таким образом, обусловленность задачи нахождения собственных значений до некоторой степени можно описать числом v (Л). Столбцы матрицы S мы можем считать нормированными. При этом большое число обусловленности будет означать, что столбцы S близки к линейно зависимым. Итак, большое число v (Л) показывает, что у Л нет хорошего «в достаточной мере линейно независимого» базиса из собственных векторов.

Однако ограничиться одним числом обусловленности для задачи о собственных значениях никак нельзя, поскольку положение здесь сложнее, чем с решением систем линейных уравнений. Именно,

разные собственные значения могут быть в разной мере чувствительны к возмущениям матрицы.

Пусть х = || %!,..., хп || — базис из собственных векторов преобразования А. Будем считать, что векторы нормированы: || х, и = 1 (используем евклидову норму, предполагая пространство евклидовым). Нам известно из предложения 10 § 1 гл. 1, что базис, биорто- гональный базису х, состоит из собственных векторов преобразования А*, сопряженного А. Нормируем векторы этого биортогональ- ного базиса и обозначим нормированные векторы yv ,..., уа.

Пусть |/ и гр — координатные столбцы векторов х, и у,- для 1=1, ..., п в ортонормированием базисе е. Тогда A^t = Х^г, Лгт]; = X/i],, или, что то же самое, т)ТА = Хл\Т и, кроме того,

Рассмотрим собственный вектор х* и собственное значение X* преобразования с возмущенной матрицей. Координатный столбец |* вектора х* удовлетворяет равенству

(Л + 6Л)|* = Х*|*. (15)

Пусть Xi — ближайшее к X* собственное значение А (или одно из ближайших, если они равноудалены от X*). Обозначим X* — Xt через ЬХг. Для преобразования простой структуры пространство распадается в прямую сумму собственных подпространств. Это разложение определяет проекцию х* на собственное подпространство, соответствующее Х,. Обозначим проекцию через X;, ах* — х, через бх,. В случае необходимости, умножив х* на числовой множитель, мы можем считать, что ||х,- || = 1, и включить xt в базис. Запишем (15) через возмущения:

(А + 6А) & + 6|а = (Xi + 6XJ & + б|;),

где |,- и 6^ — координатные столбцы х, и бхг. Упростим это соотношение, пренебрегая произведениями возмущений. Мы получаем

.5А^ + А5^ = № + бх&.116)

Умножив обе части этого равенства на строку ^К Тогда

П^ бЛ^Д^ Л6^ = Х;т/ 6|, + 6Х^(Г|Ь

откуда

^бЛ^

Таким образом, если |s,-| не слишком мал, |6Я< | сравним с || 6Л Ц, а при малом | s,- | чувствительность собственного значения X,- к возмущениям матрицы оказывается значительной.

Умножая почленно равенство (16) на rf при j=?M, мы находим

пГ 6^^+мГ б^ = х,яГ 6|z.

Отсюда, если Ху отлично от X,-,

Произведения в левой части равенства только множителем sv- отличаются от соответствующих компонент возмущения 6xz по базису Xi, ..., хп. Действительно, пусть

Ьх^ = «1X1 +... + CL^Xn.

Тогда

Ч/ $s/ ^jAi Xj — O-jSj.

Обозначим через Jt множество номеров /, при которых Ху ^ К^ Тогда для всех / е Jz имеем

nf 6Л^

7 (XZ — Xy)Sy Возмущение dxz мы определили таким образом, что его компоненты по векторам Ху равны нулю при / ^ Jb Поэтому

6Ь= 2 p^mv5'1<17)

/е Jj а норма его не превосходит

8М|| 2 (l^-Mls/l)-1.

Это показывает, что собственный вектор, соответствующий Xz, более чувствителен к возмущениям матрицы, если X, близко к другим собственным значениям.

В выражение (17) входят множители Sy, соответствующие собственным значениям, отличным от к,- Их малость может свидетельствовать о большой величине нормы 6xj. Но может оказаться, что вектор dxz мал по норме, а велики его отдельные компоненты по базису хъ ..., хл, потому что базисные векторы близки к линейно зависимым. .

Коэффициент Sy равен косинусу угла, составленного векторами Яу и ^у. Для самосопряженных преобразований все sy- достигают своего максимального значения 1. Величины | sj1 1 называются коэффициентами перекоса преобразования А.

Рассмотрим связь коэффициентов перекоса и числа v (Л). Зная векторы X,, мы можем построить матрицу S, приводящую А к диа-

гональному виду. Возьмем матрицу S со столбцами ^/У^8» I- Тогда строки ее обратной матрицы будут цГ/!^|Sy |. Для этой матрицы S

! пх 1/2 / пх 1/2 п

cE(S)= 2 |SF4 S m = Ж-

V = i / V = 1/ i = 1

HoПоэтомуHoПоэтомуу(Л)^($)^(5).у(Л)^($)^(5).

Ho

Поэтому

Ho

Поэтому

у(Л)^($)^(5).

у(Л)^($)^(5).

(18)

Если все собственные значения различны, то направления собственных векторов определены с точностью до замены на противоположное и коэффициенты перекоса тем самым определены однозначно. Если же преобразование простой структуры имеет кратные собственные значения, то коэффициенты перекоса зависят от выбранного базиса.

Рассмотрим, например, самосопряженное преобразование в трехмерном пространстве, имеющее собственные значения 1, 2, 2. Для ортонормированиого базиса из собственных векторов коэффициенты перекоса все имеют свое минимальное значение 1. Но если мы повернем один из векторов, принадлежащих X = 2, на угол л/3 в двумерном собственном подпространстве, то ему будет соответствовать коэффициент перекоса, равный 2.

Для того чтобы избежать влияния такой неоднозначности, в случае кратных корней следует рассматривать нижние грани коэффициентов перекоса по всевозможным выборам базиса. Конечно, это существенно осложняет их применение.

При выводе формулы (18) мы исходили из произвольного базиса из собственных векторов, и потому неравенство верно также для нижних граней коэффициентов перекоса.

Следующий результат справедлив только для преобразований, не имеющих кратных собственных значений. Именно, при любом i

|5Г‘|^у(Д). (19)

Действительно, если дана матрица S дйагонализующая А, мы можем выбрать базисы Xi, ..., хп и у1э ..., у,,, положив

t Set т eI S'1

где Ct — столбец единичной матрицы. Отсюда

Если коэффициенты перекоса определены однозначно и предыдущее равенство справедливо для любой матрицы S, то из него следует доказываемое утверждение.

Прямые методы решения систем линейных уравнений

В этом параграфе мы оттаем основные прямые методы решения систем линейных уравнений. Эти методы теоретически приводят к точному решению системы, и потому называются также точными методами, в отличие от итерационных методов, в принципе дающих приближенное решение. Итерационные методы мы рассмотрим в § 5.

Пусть дана система линейных уравнений вида

Ax = b, (1)

где А — невырожденная квадратная матрица порядка п. Под невырожденной здесь и далее понимается матрица, которая не является почти вырожденной в смысле, указанном в § 2. Никакого специального строения матрицы А мы не предполагаем, так как прямые методы, как правило, применяются для решения систем, матрицы которых могут быть целиком записаны в оперативном запоминающем устройстве. Мы будем говорить в первую очередь о решении систем линейных уравнений, но те же преобразования матрицы могут быть применены и применяются для вычисления детерминантов и обратных матриц. Об этом будут сделаны соответствующие замечания.

Методы вычислений оцениваются по трем важнейшим качествам: а) числу выполняемых арифметических операций, определяющему время счета, б) требованию к объему оперативной памяти и в) максимальной точности, достижимой при их помощи. Хотя сравнение методов — сложное дело, результат сравнения зависит от разных обстоятельств и часто носит условный характер, можно уверенно выделить в качестве лучших две группы методов. Первая группа может быть объединена под общим названием метода Гаусса, вторая группа связана с умножением матрицы системы на ортогональные преобразующие матрицы. Эти две группы методов и будут ниже рассмотрены.

Метод Гаусса. Как известно, в широком смысле слова метод Гаусса состоит в том, что элементарными преобразованиями строк матрицы А она превращается в единичную матрицу. Если преобразования производить над расширенной матрицей (включающей и столбец свободных членов), то последний столбец превратится в решение системы.

Можно многими способами выбирать последовательность элементарных преобразований, превращающую данную матрицу в единичную. Это порождает целый ряд алгоритмов, осуществляющих

метод Гаусса. Рассмотрим один из них, называемый схемой единственного деления.

Применение этой схемы состоит в выполнении ряда последовательных шагов, в результате которых исходная матрица Л = Л(о) преобразуется в матрицы Л(1), Л(2), ... Мы начнем с простейшего случая, в котором отличны от нуля все главные миноры матрицы Л, т. е. миноры вида

detdetЧц ... щ*Чц ... щ*k=\, ..., п.k=\, ..., п.4*1 •■• ahh4*1 •■• ahh

det

det

Чц ... щ*

Чц ... щ*

k=\, ..., п.

k=\, ..., п.

4*1 •■• ahh

4*1 •■• ahh

Отличие от нуля главных миноров позволяет не включать в число производимых элементарных операций перестановки строк и столбцов.

Первый шаг схемы единственного деления преобразует матрицу Л в матрицу Л(1), у которой первый столбец равен первому столбцу единичной матрицы порядка п. По предположению минор первого порядка, равный элементу аи, отличен от нуля, и, разделив первую строку Л на аи (единственное деление), превратим Л в матрицу Л', у которой Ди = 1 и а'м = ак1 для всех ^ ^ 2. Затем при к = 2,..., п в матрице А' вычтем из ^-й строки первую строку, умноженную на ак1. В результате мы получим матрицу нужного вида

Д11^Д11^1^- а\пО «й ч™1^- а\пО «й ч™

Д11^

Д11^

1^- а\п

О «й ч™

1^- а\п

О «й ч™

О ^ - ч-

Заметим, что при описанных преобразованиях мы прибавляем строку к нижележащим строкам, и потому главные миноры матрицы не могут обратиться в нуль. Итак, главные миноры матрицы Д^ отличны от нуля. Отсюда следует, что отличен от нуля элемент а1^ этой матрицы, так как ее главный минор второго порядка равен а1^.

Второй шаг схемы единственного деления состоит в применении преобразований первого шага к той подматрице матрицы Л(1), которая расположена в строках и столбцах с номерами 2, ..., и. Это переведет матрицу Л(1) в матрицу

Л(2' =Л(2' =1 «& - ^о 1 ... ч^1 «& - ^о 1 ... ч^

Л(2' =

Л(2' =

1 «& - ^

о 1 ... ч^

1 «& - ^

о 1 ... ч^

О 0 ... а-

у которой первые два столбца имеют на главной диагонали единицы, а ниже диагонали — нули.

При проделанных преобразованиях снова вышележащая строка прибавлялась к нижележащим, и потому главные миноры матрицы Д(2) не равны нулю. В частности, отличен от нуля элемент а'зз, равный главному минору третьего порядка матрицы Д(2).

На третьем шагу преобразуется подматрица матрицы Л(2), расположенная в строках и столбцах с номерами 3, ..., п. И так далее. На к-м шагу преобразования первого шага применяются к подматрице матрицы A t6'1, расположенной в последних п — к + 1 строках и столбцах. В полученной матрице Л(/!) отличен от нуля элемент a^j так как его обращение в нуль означало бы, что удалось обратить в нуль главный минор порядка к + 1 матрицы А за счет элементарных преобразований со строками этого минора.

После (и— 1)-го шага мы получим матрицу Л^”'11, у которой на главной диагонали все элементы равны 1, кроме а*," — 1’, а элементы, расположенные ниже главной диагонали, равны нулю.

Д^атрицы, у которых элементы, стоящие ниже диагонали, равны нулю, называются верхними треугольными матрицами (ср. стр. 33). Разделив последнюю строку матрицы Л(”'1) на а^™^, мы получим верхнюю треугольную матрицу Л(п) = U с единицами на главной диагонали.

Описанный выше процесс превращения матрицы А элементарными преобразованиями в верхнюю треугольную матрицу U носит название прямого исключения или метода Гаусса в узком смысле слова. ,

Если все элементарные операции со строками проделывались над расширенной матрицей (т. е. матрицей Л, дополненной столбцом свободных членов), то в результате будет получена система линейных уравнений с треугольной матрицей

Ux = Ь',

эквивалентная *) системе (1). Она легко может быть решена. Действительно, последнее уравнение системы имеет вид хп = Ьп- Кроме того, каково бы ни было к, если определены хпхк1 то из (А + 1)-го уравнения

хк-х =b'h_i— У, uk_tjxi.(2)

Применяя эту формулу последовательно для к = п, .... 2, мы найдем все компоненты решения, не прибегая к делению.

Описанный способ решения системы с треугольной матрицей носит название обратной подстановки.

. Вместо того чтобы делать обратную подстановку, можно превратить U в единичную матрицу при помощи элементарных преобразований со строками, аналогичных тем, которые превращают А в (7. Именно, п-ю строку, умноженную на подходящие множители, мы вычтем из всех строк, расположенных выше нее, и тем самым обратим в нуль все элементы ц-го столбца, стоящие выше диагонали. Затем, используя (п — 1)-ю строку, обращаем в нуль элементы

(п — 1)-го столбца, расположенные выше диагонали, и т. д. Этот процесс преобразования называется обратным ходом метода Гаусса.

Если все операции со строками проделывались над расширенной матрицей, то в результате прямого и обратного хода метода Гаусса система заменится на эквивалентную систему с единичной матрицей, т. е. будет решена.

Отметим, что обратный ход метода Гаусса требует большего числа арифметических операций, чем решение системы с треугольной матрицей по формулам (2).

Ниже, в п. 3, мы вернемся к схеме единственного деления и опишем, как освободиться от ограничительного предположения об отличии от нуля всех главных миноров матрицы. Сейчас же мы вкратце рассмотрим так называемый метод оптимального исключения как пример того, насколько могут измениться характеристики алгоритма при изменении порядка выполнения операций. Подробнее он описан в книге Воеводина [7].

Начинается процесс оптимального исключения, как и схема единственного деления, с того, что все элементы первой строки делятся на ап. (Мы по-прежнему предполагаем все главные миноры матрицы отличными от нуля.) Новая первая строка умножается на а22 и вычитается из второй. Однако после этого не преобразуют третью строку, а с помощью второй строки обращают в нуль первый элемент второго столбца и только тогда переходят к третьей строке.

В третьей строке с помощью двух первых обращают в нуль два первых элемента, а с помощью третьей строки обращают в нуль первые два элемента третьего столбца. Вообще, пусть после к шагов первые к строк преобразованы так, что содержащиеся в них части первых к столбцов совпадают со столбцами единичной матрицы порядка к. На (кД- 1)-м шагу к (.k-V 1)-й строке добавляются строки 1, ..., к с такими множителями, чтобы обратить в нуль ее первые к элементов. Далее (кА- 1)-я строка делится на ее (к + 1)-й элемент и после умножения на соответствующие элементы вычитается из вышележащих строк с тем, чтобы обратить в нуль первые к элементов (&+1)-го столбца.

Таким образом, в методе оптимального исключения попеременно выполняются операции прямого и обратного хода метода Гаусса. Это позволяет не вводить в оперативное запоминающее устройство (й4-1)-ю строку до тех пор, пока не преобразованы предыдущие строки.

После преобразования к строк количество подлежащих запоминанию элементов в этих строках уменьшается на к2 и становится равным пк — к2. Максимальное значение этого выражения при четном п достигается при к = п/2 и равно п^Д. При нечетном п результат будет близким к этому. Итак, решение системы при помощи метода оптимального исключения требует примерно вчетверо меньшего объема оперативной памяти, чем применение схемы един1 ственного деления.

Отметим еще один возможный порядок выполнения элементарных операций, при котором все столбцы матрицы А последовательно превращаются в столбцы единичной матрицы. Это — так называемый метод Жордана. Он не имеет никаких преимуществ перед схемой единственного деления.

/.(/-разложение. Известно, что выполнение какой-либо элементарной операции со строками матрицы А равносильно умножению А слева на некоторую невырожденную матрицу, а последовательное выполнение ряда таких операций — умножению на матрицу S, равную произведению соответствующих матриц. Чтобы найти матрицу S, достаточно проделать последовательно все элементарные операции над единичной матрицей. (Действительно, результатом будет матрица SE, т. е. S.) Превращая матрицу А в верхнюю треугольную матрицу U, мы проделывали определенную последовательность элементарных операций. Легко видеть, что эта последовательность операций переведет Е в нижнюю треугольную матрицу S. Действительно, кроме умножения строк на числа, употребляется только прибавление строки к нижележащей строке. При этом все элементы преобразуемой единичной матрицы, расположенные выше диагонали, останутся равными нулю. Итак, справедливо

Предложение 1. Для любой матрицы А с ненулевыми главными минорами найдется такая невырожденная нижняя треугольная матрица S, что 5Д есть верхняя треугольная матрица U с единицами на главной диагонали.

Докажем далее

Предложение 2. Матрица L, обратная к нижней треугольной матрице S из предложения 1, сама является нижней треугольной и имеет вид

ап 0...О...О

"„1 ап2"„1 ап2аа(и — 1) пк(и — 1) пкааЫ - 1) ппЫ - 1) ппа21аЩ...О...О

"„1 ап2

"„1 ап2

а

а

(и — 1) пк

(и — 1) пк

а

а

Ы - 1) пп

Ы - 1) пп

где а^~б — элементы матрицы А^ ^, получаемой по схеме, единственного деления на (А — 1)-л< шагу.

Для доказательства посмотрим на элементарные преобразования в схеме единственного деления как на результат умножения на матрицу. Обозначим через З^ такую матрицу, что

^(fci^Stfc^tfc-).

На ^-м шагу к-я строка матрицы А ^-1) делится на а^~*> и из всех строк с номерами т = к -V \ , ..., п вычитается полученная строка, умноженная на а^—*). Матрица Sw получается из единичной теми же элементарными преобразованиями и, следовательно, отличается

нали:нали:SW =SW =от нее только элементами ^-го столбца, лежащими не выше диаго

нали:

нали:

SW =

SW =

1...о...о

О...s^...о

О...s^...1

Здесь sw=(a^y и s№ = -a^-п/а^-» при т>к. Нам нужно доказать, что

S^...SWS^L = E.

Рассмотрим произведение S^L. Первый столбец L совпадает с первым столбцом А, а умножение слева на 5|И превращает первый столбец А в первый столбец ех единичной матрицы. Поэтому в матрице 5|1!Л первый столбец совпадает с fi- Остальные столбцы матрицы 5(1,Л те же, что и в матрице L. Действительно, умножение на S(1) равносильно прибавлению первой строки, умноженной на некоторые множители, к нижележащим строкам, а элементы первой строки L, начиная со второго, равны нулю.

Далее, умножение слева на Sl2) равносильно прибавлению второй строки, умноженной на некоторые множители, к нижележащим строкам. В матрице S^L все элементы второй строки, кроме а'^, равны нулю. Поэтому S(2)SZ1)L отличается от SWL только вторым столбцом. Расположенные не выше диагонали элементы второго столбца матрицы SWL совпадают с теми же элементами матрицы Ли). Значит, умножение на S|2) превратит второй столбец матрицы SWL во второй столбец единичной матрицы.

Продолжая рассуждать таким же образом относительно всех остальных матриц StZI, мы придем к доказываемому утверждению.

Очень существенно, что элементы /г-го столбца матрицы L являются элементами матрицы Л(А+1). Если матрица А не должна сохраняться или сохраняется во внешнем запоминающем устройстве, то после каждого элементарного преобразования мы можем записать элементы полученной матрицы на месте соответствующих элементов матрицы, подвергнутой преобразованию. При этом элементы матрицы L могут быть записаны на тех местах, на которых в преобразованной матрице заведомо стоят нули (ниже диагонали) или единицы (на диагонали). После всех преобразований на местах выше диагонали будут размещены элементы матрицы U, не являющиеся заведомо нулями или единицами, а на остальных местах — элементы матрицы L.

Определение. Разложение матрицы А в произведение LU невырожденной нижней треугольной матрицы L и верхней треугольной матрицы U с единицами на главной диагонали называется LU-разложением *) матрицы А.

' *) По начальным буквам английских слов «upper» и «lower» (означающих соответственно «верхняя» и «нижняя»).

Из предложений 1 и 2 следует

Теорема 1. LU-разложение матрицы А существует, - если все ее главные миноры (включая и детерминант) отличны от нуля.

Мы получим L (/-разложение, указав алгоритм -для его вычисления. Но при этом остались незатронутыми два обстоятельства, которые выясняются следующим предложением, содержащим также и другое доказательство существования разложения.

Предложение 3. Отличие от нуля главных миноров матрицы А необходимо (и достаточно) для существования ее LU- разложения. Если LU-разложение существует, то оно единственно.

Доказательство. Пусть S = L'1 н U = SA. Обозначим через Uh, Sh и Ак подматрицы матриц U, S и А, расположенные в строках и столбцах с номерами 1, ..., ft. Элементы U k суть произведения строк S на столбцы А, причем номера строк и столбцов не превосходят к. Но так как S — нижняя треугольная, произведения эти те же, что произведения строк Sk на столбцы Ак. Отсюда мы имеем U к = SkAh.

Поскольку det U к #= 0, мы имеем также det Л/г ^ 0 и, таким образом, отличие от нуля главных миноров А необходимо для существования ее L(/-разложения.

Как известно, последняя строка произведения есть линейная комбинация строк второго сомножителя с коэффициентами, равными элементам последней строки первого сомножителя. Последняя строка Uh есть последняя строка единичной матрицы и тем самым однозначно определена. Строки Ак линейно независимы, и потому каждая строка длины к раскладывается по ним единственным образом. Следовательно, к-a строка Sk однозначно определена. . '

Но к-я строка S получается из к-й строки Sk дописыванием п — к нулей. Поскольку к произвольно, отсюда следует, что матрица S однозначно определена. Далее, L определяется однозначно как S*1, a U — как SA.

Замечание. Подчеркнем, что единственным является разложение на такие треугольные множители, что у второго из них на главной диагонали стоят единицы. Вообще же существует много треугольных разложений, в частности такое, в котором единицы на главной диагонали у первого сомножителя.

Матрицу L можно представить как произведение матрицы LT, имеющей единицы на главной диагонали, и диагональной матрицы D. Мы получим тогда

Предложение 4. Матрицу А, главные миноры которой не равны нулю, можно единственным образом разложить в произведение LiDU, в котором D — диагональная, a Lr и U — нижняя и верхняя треугольные матрицы с единицами на главной диагонали.

Единственность указанного разложения вытекает из единственности L(/-разложения, поскольку представление L = LJ) также, очевидно, единственно.

, - Рассмотрим ЛД{/-разложение, полученное в предложении 4, в частном случае симметричной матрицы А. Тогда А = Ат = = UTDLT, причем UT — нижняя, a LT — верхняя треугольные матрицы с единицами на главной диагонали. В силу единственности разложения имеем L = UT и

А = UTDU. (3)

Интерпретируя матрицу А как матрицу квадратичной формы, мы можем смотреть на равенство (3) как на переход к такому базису, в котором квадратичная форма имеет диагональную матрицу О.

В частности, если все главные миноры матрицы А положительны, то квадратичная форма положительно определена и все диагональные элементы матрицы D положительны. Если О = diag (db ... ..., d„), где все d; > О, то мы можем ввести матрицу О1^ = = diag(K^i, •■., К^) и матрицу У = В11ги. Тогда мы получаем

A = VTV. (4)

Существует эффективный алгоритм, позволяющий непосредственно получить разложение (4) для положительно определенной матрицы А. Он будет изложен в п. 5.

Заметим, что разложение (4) не является неожиданным. Положительно определенную матрицу можно рассматривать как матрицу Грама некоторого базиса е при подходящим образом определенном скалярном произведении. Тогда формула (4) может рассматриваться как связь матриц Грама двух базисов — базиса е и некоторого базиса, ортонормированного по отношению к рассматриваемому скалярному произведению, причем матрица перехода является верхней треугольной. Треугольной является и ее обратная — матрица обратного перехода от е к ортонормированному базису. Построение матрицы перехода от произвольного базиса к ортонормированному дается процессом ортогонализации Грама — Шмидта. Нетрудно проверить, что этот процесс приводит к такому ортонормированному базису, А-й вектор которого есть линейная комбинация векторов elt ..., et базиса е. Таким образом, процесс ортогонализации Грама— Шмидта приводит как раз к верхней треугольной матрице перехода, которая будет обратной для матрицы V из разложения (4).'

Вернемся к основной теме этого пункта, для того чтобы подчеркнуть важность полученного результата. L^-разложение играет существенную роль в численных методах решения систем линейных уравнений, вычисления детерминантов и обращения матриц. Действительно, большую чать трудностей в решении указанных задач можно перенести на нахождение L {/-разложения. Если матрица системы линейных уравнений представлена как произведение LU, то решение системы сводится к последовательному решению двух систем с треугольными матрицами. Именно, Ах == Ь равносильно Ly = Ь и Ux = у.

Далее, заметив, что det А = det L det U и det U = 1, мы можем подсчитать det А как произведение диагональных элементов матрицы L.

Точно так же А = LU равносильно Д'1 = и~1Ь~1, и поскольку треугольные матрицы легко могут быть обращены, вычисление А-1 не представляет труда.

Немаловажным достоинством /.//-разложения является тот факт, что оно занимает в оперативной памяти вычислительной машины столько же места, сколько занимала исходная матрица.

Выбор главного элемента. Рассмотрим теперь невырожденную матрицу А, не накладывая никаких ограничений на ее главные миноры. Уже условие йп =# 0 может быть невыполненным. В этом случае для превращения первого столбца матрицы А в столбец единичной матрицы недостаточно ограниченного набора элементарных операций, примененных в описанной выше схеме единственного деления. Однако если к этим операциям добавить перестановки строк (или столбцов), то условие отличия от нуля главных миноров в теореме 1 может быть снято.

В самом деле, имеет место

Предложение 5. Невырожденную матрицу А порядка п перестановкой только строк (или только столбцов1) можно перевести в матрицу, главные миноры которой отличны от нуля.

В первых п — 1 столбцах матрицы А обязательно есть минор, отличный от нуля, так как иначе столбцы были бы линейно зависимы и det А был бы равен нулю. Переставим строки так, чтобы этот минор оказался главным минором порядка п — 1. Пусть А* — матрица, полученная в результате проделанной перестановки. Очевидно, что в Л' мы можем переставлять строки с номерами 1, ..., п — 1, не обращая в нуль ее главный минор порядка п — 1. Воспользуемся этим, для того чтобы переставить на главную диагональ отличный от нуля минор порядка п — 2, расположенный где-то в первых п — 1 строках и в первых п — 2 столбцах. Такой минор обязательно существует, так как иначе главный минор порядка п — 1 в матрице А' равнялся бы нулю.

Действуя дальше подобным образом по отношению к минорам убывающих порядков, мы докажем утверждение для перестановок строк. Для перестановок столбцов доказательство аналогично.

Перестановка строк в матрице равносильна умножению этой матрицы слева на матрицу Р, получаемую из единичной матрицы Е той же перестановкой строк. Точно так же перестановка столбцов равносильна умножению справа на матрицу Q, получаемую из Е этой перестановкой столбцов. Такие матрицы, как Р и Q называются матрицами перестановок. ’

Матрица, обратная к матрице перестановки, является матрицей обратной перестановки, возвращающей строки на их прежние места. Поскольку матрица перестановки ортогональна, для нее Р'1 =

Записывая указанные в предложении 5 перестановки как умножение на матрицу, в силу полученных ранее результатов об LU- разложении мы приходим к следующей теореме.

Теорема 2. Для произвольной невырожденной матрицы А существуют следующие разложения*.

A = PLU, A = L'U'Q,

A = PMDV, A=M'D'VQ,

в которых Р и Q — матрицы перестановок, U, U', V и V' — верхние треугольные матрицы с единицами на главной диагонали, L, U, М и М' — нижние треугольные матрицы, причем М и Мг имеют единицы на диагонали, a D и D’ — диагональные матрицы.

Для применений этого результата нужно указать алгоритм, позволяющий построить матрицы перестановок, или, что то же самое, указать перестановку строк или столбцов, делающую главные миноры отличными от нуля. Вместо такого алгоритма, как правило, применяется схема единственного деления в измененном виде. Эта измененная схема приводит к последовательности преобразующих матриц, в которой чередуются треугольные матрицы и матрицы перестановок. Изменения вносятся следующие.

Если окажется, что в начале первого шага элемент аи равен нулю, мы переставим строки так, чтобы в левый верхний угол попал ненулевой элемент. Хоть один такой элемент обязательно найдется в первом столбце, так как det А Ф 0. Выбранный нами для этой цели ненулевой элемент мы назовем главным (или ведущим) элементом первого шага.

Точно так же, если на втором шагу а!^ = 0, то второй столбец матрицы Л(1) содержит ненулевой элемент ниже диагонали (иначе первые два столбца были бы линейно зависимыми). Переставляя строки, мы можем поместить этот элемент на место а'^. Он будет называться главным элементом второго шага. Аналогично определяется главный элемент и для любого шага.

Здесь описан выбор главного элемента по столбцу. Если перестановки строк заменить перестановками столбцов, то на й-м шагу главный элемент будет выбираться среди элементов А-й строки матрицы A |W). Выбор главного элемента по всей матрице означает возможность переставить на место а^^ любой элемент а^-1) при i > к, / > к. Заметим, что выбор главного элемента по строке приводит ко второму разложению в теореме 2.

Теоретически в качестве главного элемента может быть взят любой ненулевой элемент. Однако с практической точки зрения дело обстоит не так просто. Как мы видели в § 1, даже результат проверки, равен ли элемент нулю, может зависеть от представления чисел в машине. Выбор главного элемента оказывает существенное влияние на ошибки округления. Поэтому, даже если мы установили, что, например, в исходной матрице аи не равно нулю, это

еще не означает, что его разумно выбрать в качестве ведущего алемента. Для примера рассмотрим систему

lO^x+z/^l,

”x+z/ = 2

и допустим, что арифметические операции производятся с округлением результата до трех значащих цифр в системе с плавающей запятой. Вычисленное без округления решение системы есть

х = (1 -lO"4)-^ 1-ф10^+10-8 ф-

ti = 2~x= 1 - 10~4 — IO-8-...

Ппиняв КГ4 за главный элемент, мы должны будем преобразовать расширенную матрицу системы следующим образом:

по-» ill || i|i кто4ц ||1ю»| юу| ||i о foil

lb l|2l|'^|il 1 I 21 H 1Г

Заметим, что число 2 после прибавления к нему 104 и округления исчезло, и если бы в исходной системе там стояло 3, а не 2, результат был бы тем же. Найденное решение есть х = 0,. у = 1. Это далеко от истинного решения.

Если же, переставив строки, мы выберем в качестве главного элемента 1, то преобразование расширенной матрицы будет таким:

Е10-» 1 I 1 |l II 11 I 211 II1 1 12 Е 1| 1 Olltt

1 |2i;-^ii io-аiiiMio 111

Это даст вычисленное решение х = 1, у = 1, совпадающее с округленным истинным решением, т. е. настолько точное, насколько это вообще возможно.

В первом варианте решения мы видели, что потеря точности связана с тем, что приходится складывать числа, порядки которых отличаются больше чем на длину мантиссы. При этом меньшее число пропадает. Даже при меньшей разности порядков пропадает часть значащих цифр меньшего слагаемого. Поэтому для уменьшения ошибок округления нужно стараться складывать числа возможно более близких порядков.

Обычная рекомендация состоит в том, чтобы в качестве главного выбирать наибольший по модулю элемент преобразуемой части матрицы или, что проще, но несколько хуже, наибольший по модулю элемент очередной строки или столбца. В следующем пункте мы вернемся к этому вопросу, а сейчас заметим только, что, умножив в разобранном выше примере первое уравнение на 105, мы получим систему'

10* + 105z/ = 10\

х+ у = 2.

Максимальный элемент первого столбца равен 10, но, выбрав главным его, мы получим то же неудовлетворительное решение.

В некоторых случаях увеличение точности решения — не единственное соображение, которое нужно принимать во внимание, выбирая главный элемент. Если метод Гаусса применяется к разреженной матрице (см. стр. 120), то с каждой элементарной операцией заполненность матрицы ненулевыми элементами, вообще говоря, будет возрастать. Поэтому может оказаться, что какую-нибудь очередную пробразованную матрицу мы будем не в состоянии записать в доступной нам области памяти. В этом случае мы не получим точного решения — мы вообще не получим никакого решения. Однако заполненность матрицы будет расти различным образом в зависимости от выбора главного элемента. Поэтому возможен следующий подход.

Можно заранее прикинуть, как будет меняться заполненность матрицы при различных последовательностях выбора главных элементов, и остановиться патакой последовательности, которая даст минимальное (или допустимое) значение заполненности. Этот метод описан в упоминавшейся уже книге Тьюарсона [32]. Несомненно, предлагаемый способ весьма трудоемок, но следует иметь в виду, что часто возникает необходимость в решении многих систем линейных уравнений с одной и той же матрицей коэффициентов (отличающихся только свободными членами) или с матрицами коэффициентов, имеющими одинаковые структуры заполненности. В этом случае дополнительные затраты труда на выбор удачной последовательности главных элементов могут оказаться оправданными.

Масштабирование. Выбор главного элемента тесно связан с умножением уравнений (или, что то же самое, строк матрицы системы) на числовые множители. Такое преобразование эквивалентно умножению на диагональную матрицу слева и называется масштабированием строк. Умножение столбцов на числа (масштабирование столбцов) равносильно умножению матрицы системы справа на диагональную матрицу и может интерпретироваться как переход к другим единицам измерения для неизвестных. Отсюда и происходит название.

В качестве масштабирующих множителей удобно выбирать степени основания системы счисления (десяти — при десятичной системе). При использовании арифметики с плавающей запятой такие множители изменяют только порядки элементов, оставляя неизменными мантиссы, и, таким образом, масштабирование не вводит дополнительных ошибок округления.

Если выбор главного элемента определяется каким-либо правилом, связанным с величиной элементов матрицы, то масштабирование, естественно, влияет на выбор главного элемента. Например, если в качестве главного выбирается наибольший по модулю элемент матрицы, то подходящим масштабированием можно сделать главным любой наперед заданный ненулевой элемент. Действительно, масштабированием строк можно сделать каждый ненулевой элемент выбранной строки с номером t0 большим по модулю, чем лю-

бой элемент какой-либо другой строки. Далее, масштабированием столбцов можно сделать максимальным по модулю в строке с номером z0 назначенный заранее элемент с номером /0, причем этот элемент останется большим остальных элементов /0-го столбца.

Те же соображения могут быть применены и к выбору главного элемента по строке или по столбцу.

Если же выбор главного элемента определяется правилом, не зависящим от величины элементов матрицы, например позиции элементов, выбираемых в качестве главных, определены заранее, то масштабирование не влияет на решение. Точнее, имеет место следующий результат.

Предположим для определенности, что используется десятичная арифметика с плавающей запятой, и рассмотрим две системы линейных уравнений, матрицы которых А и А' отличаются масштабированием по строкам и столбцам целыми степенями десяти, т. е. их элементы связаны соотношениями

a'it = 10p‘ + <?/'ay, i, j=l,..., п,

а свободные члены обеих систем удовлетворяют условиям b'£=10pibi, I = },..., п.

Тогда имеет место следующее

Предложение 6. Пусть обе системы решаются по схеме единственного деления, причем для обеих систем на каждом шагу берутся в качестве главных элементы, занимающие в матрицах одинаковые позиции. Тогда вычисленные решения обеих систем связаны равенством

x'=Hrqlx1, ]=\,...,п,(5)

а мантиссы х] и х; совпадают, если при решении одной из систем не появится машинный нуль или не возникнет переполнения.

(Говорят, что решение второй системы получается демасштабированием из решения первой.)

Доказательство. Заметим вначале, что мантиссы соответствующих элементов рассматриваемых систем совпадают, а округление затрагивает мантиссу, а не порядок, который может повлиять лишь на возникновение переполнения или появление машинного нуля.

Проверим, что применение к обеим матрицам одной и той же элементарной операции схемы единственного деления даст такие же системы, отличающиеся масштабированием. Для простоты записи будем считать, что речь идет о первом шаге прямого хода схемы единственного деления.

Пусть в качестве главного выбран элемент из А-й строки и /-го столбца; В матрице А из /-й строки вычитается A-я, умноженная на

^iJau- Тогда /-й элемент полученной строки равен

„а11 „

ПИ —QiJ^ dkj.

В матрице А' аналогичное преобразование дает

«У = ay 10р'+ qi -akj 10рГqi = 10р- + ,7/<.

о^/10 *'

Для элементов /г-й строки преобразованной матрицы А' имеем

а'кГ =а'кГ =“мам“мамaki^ + qiaM10Pk + qiaki^ + qiaM10Pk + qi\0-qi + qia4'i.\0-qi + qia4'i.

а'кГ =

а'кГ =

“м

ам

“м

ам

aki^ + qiaM10Pk + qi

aki^ + qiaM10Pk + qi

\0-qi + qia4'i.

\0-qi + qia4'i.

В частности, ак}' = a'kl = 1 при j = l. В столбце свободных членов Ь' из i-ro элемента вычитается й-й, умноженный на аи/ам-

b?v =^10pi-^10pA^-^ = ^1,10pi.

Кроме того, /г-й элемент столбца свободных членов должен быть разделен на aki;.

К" = —= Ь^' КГ7'.akltoPh + ql ”

Таким образом, в результате преобразования получились две системы, связанные между собой так же, как и исходные системы, и масштабирующие множители не изменились, за исключением множителя ведущей ^-й строки, заменившегося на 1(Г' благодаря делению на а'н. После окончания прямого и обратного хода мы получаем системы с единичными матрицами (считая, что перестановки выполнены). При прямом и при обратном ходе каждая строка была ведущей ровно по одному разу, но при обратном ходе деление не производилось. Поэтому масштабирующий множитель строки, содержащей единицу на /-м месте, равен КГ'. Это приводит нас к выражению (5). Предложение доказано.

Приведенные рассуждения показывают, что, договорившись, скажем, выбирать в качестве главного максимальный элемент столбца, мы не фиксируем для данной системы набор главных элементов, а устанавливаем связь между масштабированиями и наборами главных элементов. При таком правиле выбора главных элементов нельзя закрывать глаза на масштабирование: не вводя масштабирующих множителей, мы оставляем масштабирование таким, каким оно было, — возможно, не лучшим.

Наилучшим масштабированием, по-видимому, следует считать такое, при котором число обусловленности матрицы будет минимальным. Однако не известны эффективные алгоритмы для выбора

такого масштабирования. Вместо этого применяется следующий подход.

Пусть в пространстве столбцов высоты п выбрана некоторая норма || * ]). Матрица порядка п называется равновесной по столбцам (или строкам) относительно выбранной нормы, если для каждого ее столбца (строки) выполнено условие

0, 1 - - (<zz- 1

(для десятичной системы счисления). Матрица называется равновесной, если она равновесна и по строкам и по столбцам.

Перед решением системы линейных уравнений ее матрицу можно масштабировать так, чтобы она стала равновесной. Недостаток такого подхода состоит в том, что при этом можно получить много равновесных матриц, сильно отличающихся обусловленностью.

Вычисления с двойной точностью и компактная схема. На ряде ЭВМ имеется техническая возможность, нашедшая отражение в принятых на них языках программирования (Фортран IV, ПЛ/1) проделывать любые вычисления с удвоенным числом разрядов. Конечно, это сильно повышает точность результата, но мы не будем останавливаться на обсуждении этой возможности, так как мы нигде не фиксировали число значащих цифр I, и его удвоение не вносит в наши рассуждения ничего нового. Однако анализ ошибок округления показывает, что не все вычисления, проделываемые по какому-нибудь алгоритму, одинаково влияют на точность результата. Часто точность всего вычислительного процесса может быть существенно повышена за счет увеличения точности только некоторой его части.

Для широкого класса вычислительных средств имеется возможность сравнительно просто и без существенных дополнительных затрат времени получать с повышенной точностью выражения вида 2 «*₽*, т. е. произведения строк на столбцы. Это называется вычислением скалярного произведения в режиме накопления. Подробнее речь идет о следующем. .

Пусть мы должны перемножить два числа в системе с плавающей запятой. Для этого следует сложить их порядки и перемножить мантиссы. Если мантиссы являются /-разрядными десятичными дробями, то их точное произведение имеет 2/ разрядов. Произведение мантисс больше чем 0,01, но может оказаться меньше чем 0,1. В последнем случае его нужно умножить на 10 и вычесть 1 из порядка. После этого произведение мантисс округляется до / разрядов. Полученное число будет мантиссой произведения, а отброшенные разряды определяют ошибку округления при умножении.

Однако если нам нужно получить сумму произведений, мы можем не производить округления, а по мере получения произведений прибавлять их к сумме ранее полученных, рассматривая их как числа с 2/ значащими цифрами с плавающей запятой. При этом округление до / значащих цифр производится только после при-

бавления последнего произведения. Вычисленная таким образом сумма произведений отличается от истинной на величину, немногим превосходящую единичную ошибку округления, если только при сложении не произойдет существенной потери значащих цифр из-за большой разности порядков слагаемых. Доказательство этого факта можно найти в книге Форсайта и Молера [37].

Вычисление суммы произведений входит, практическим, во все алгоритмы решения задач линейной алгебры, и возможность вычислять такие суммы с меньшими ошибками округления весьма существенна. Обратим, например, внимание на то, что по формуле (2) система линейных уравнений с треугольной матрицей может быть решена при помощи вычисления суммы произведений. Таким образом, если используется режим накопления, решение такой системы содержит ошибки округления, сравнимые с ошибкой округления при одном умножении.

Возможность вычислять сумму произведений в режиме накопления вызвала создание ряда алгоритмов, которые позволяют лучше использовать эту возможность. Рассмотрим алгоритм получения (.(/-разложения, носящий название компактной схемы метода Гаусса.

Матричное равенство Л = LU равносильно п2 числовым равенствам

^</= ^j likUjij-

k— 1

Поскольку L и U — треугольные матрицы, мы имеем lik = 0 при А > ( и иу = 0 при А > j. Поэтому

Olj " ^^ ^ ilt^kft(6)

1г =1

где г = min (t, /). Эти пг равенств могут быть разделены на группы по значениям г. Так, для г = 1 имеем или j > i = 1, или i ^ j = 1, и группа состоит из уравнений

01/=(цМ1/,//'ll

аа = 1ции, i^j—l.

Так как U имеет единицы на главной диагонали, ии — 1, и мы находим

(и = «л для всех t За 1.

В частности, /п = аи, и потому /п ^ 0, если главные миноры матрицы А отличны от нуля. Теперь мы можем найти

для всех />1.-

Допустим теперь, что из групп уравнений, соответствующих значениям г = 1, ..., s—1, мы нашли 1и и urj для любых ( и / и всех

r^s—1. Напишем группу уравнений, соответствующих г « s, в виде

Z ау = lisUSj + 2 hk^kj. fc=l

Отсюда при i ^ / = s в силу uss = 1 имеем

1

Us = ^is 2 Uk^ks-к=\

Сумма в левой части равенства состоит из уже известных элементов, и, значит, мы нашли lis при i ^ $. При I <s положим lls = 0.

Если j ■> i = s, имеем

1

1-ss^sj ~ ^5/ ^J ^sk^kj*

Докажем, что 1М =^ 0. В самом деле, в противном случае либо не найдется чисел uSp удовлетворяющих последнему равенству, либо найдется бесконечно много (смотря по тому, равна или не равна нулю левая часть равенства). В обоих случаях мы приходим к противоречию с предложением 3. Итак,

S— 1asj S ^shuM

usj =; для всех

а при j <s полагаем usj = 0. Тем самым, используя уравнения (6) для г = 1, ..., s, мы нашли все lis и usj. Это показывает, что все элементы матриц LuU могут быть последовательно вычислены с использованием режима накопления. Можно показать, что среди всех известных методов описанная здесь компактная схема метода Гаусса имеет самую низкую верхнюю оценку для нормы возмущения исходных данных, эквивалентного влиянию ошибок округления. Число проделываемых по этой схеме арифметических операций и необходимый объем памяти примерно таковы, как и для схемы единственного деления, т. е. близки и минимально возможным.

Замечание. Выше мы показали, что диагональные элементы, на которые приходится делить в компактной схеме, отличны от нуля. Но это гарантирует только теоретическую возможность осуществления вычислений. Для того чтобы эти вычисления были практически возможны и устойчивы по отношению к возмущениям исходных данных и к ошибкам округления, нужно, чтобы числа lss не были малы, или, что то же, числа uS]> не были велики. Для последних мы имеем м^ = а^), гдеа^— элемент матрицы Л (s>, которая строится в схеме единственного деления. Это же условие — отсутствие больших элементов в матрицах Л(5) — появляется и при исследовании устойчивости схемы единственного деления.

Мы рассмотрели здесь применение компактной схемы для получения L(/-разложения, т. е. предполагали, что диагональные миноры матрицы Л отличны от нуля. Следует отметить, что компактная схема обладает фундаментальным недостатком метода Гаусса: устойчивость вычислительного процесса зависит от выбора главных элементов или, в данном случае, от порядка, в котором расположены строки и столбцы матрицы перед началом вычислений.

Выше мы показали, что симметричная положительно определенная матрица допускает разложение на множители вида А = VVT, где V — нижняя треугольная матрица. Модификация компактной схемы для получения этого разложения называется методом квадратного корня. Искомое разложение, выраженное через элементы матриц, имеет вид

ay=S ун<0;1>-fe=i

где г = min (i, /). Как и уравнения (6), эти уравнения могут быть решены последовательно. Действительно, при i — j = 1 и i "> j = 1 имеем соответственно

an = uh и an = vavn,

откуда ои = Van, oix = alY[VaV

Далее, если известны oik для k = 1, .... s — 1 и для всех I, то из равенства (для i = j = s)

:S— I

аи = uh + 2 ush

*=i

мы найдем uss, а из равенств (при < > j = s)

1

ais " OisO^s 4" o^o^fe=l

найдем ois. Все деления и извлечения корня в принципе могут быть осуществлены, так как искомое разложение, как мы доказали, существует и единственно.

Как и компактная схема, метод квадратного корня допускает использование вычисления скалярного произведения в режиме накопления. При этом может быть достигнута очень высокая точность, если матрица не является плохо обусловленной. В последнем случае ошибки округления могут привести даже к нарушению положительной определенности матрицы и тем самым к невозможности осуществления алгоритма.

Разложение на ортогональный и треугольный множители. Большую роль в численных методах линейной алгебры играет разложение квадратной матрицы А на множители

A = QR ■(7)

такие, что R — верхняя треугольная матрица, a Q — ортогональная. Оно называется QR-разложением Л.

Если для матрицы системы линейных уравнений (1) известно ^-разложение, то система (1) сводится к системе

Rx = QTb

с треугольной матрицей, и после этого легко может быть решена способом, описанным на стр. 136.

Применение (^-разложения для решения систем линейных уравнений выгодно тем, что число обусловленности матрицы R равно числу обусловленности матрицы А (ср. стр. 124).

Один из путей получения (^-разложения носит название метода отражений. Отражением в евклидовом пространстве 8„ называется самосопряженное преобразование, имеющее собственное значение 1 кратности п — 1 и собственное значение —1 кратности 1.

Если собственному значению —1 принадлежит собственный вектор s длины 1, то мы будем говорить, что отражение порождается вектором s.

В ортонормированном базисе е0 из собственных векторов отражения его матрица имеет вид

—1

Р» =Р» == Е — 2Е1, и

Р» =

Р» =

где ЕТ> j — матрица, состоящая из нулей, за исключением единицы в левом верхнем углу.

Матрица Ро ортогональная и, следовательно, отражение является ортогональным преобразованием. С этим и связано применение отражений к решению систем линейных уравнений.

В произвольном ортонормированном базисе е, получаемом из е0 при помощи ортогональной матрицы перехода S, матрица отражения имеет вид

Р = S^PqS = Е —2S-1E1, ^S.

Обозначим через е.ы и а^ соответственно элементы матриц ЕТ, Т и S. Тогда в матрице 8-1Е1Л S на пересечении i-й строки и /-го столбца стоит элемент

У, OkiBkiOlJ к, I

(здесь учтено, что S-1 = Sr). Все etz равны 0, за исключением ец, равного 1. Поэтому написанная выше сумма равна о^а^, и ■

Е^Е^Е-оо?

где а — первый столбец матрицы ЕТ. Но ЕТ — матрица перехода от е к е0. Столбец а является координатным столбцом в базисе

е первого вектора базиса е0, т. е. вектора s, определяющего отражение. Мы видим, что в ортонормированном базисе матрица отражения имеет вид

Р = Е — 2аат,(8)

где о — координатный столбец вектора, определяющего отражение.

Предложение 7. Каковы бы ни были ненулевой вектор х и вектор f, по длине равный I, найдется такое отражение, которое переводит вектор х в вектор af.

Заметим сразу же, что обязательно | а | = | х |, так как отражение — ортогональное преобразование. Для определенности будем считать, что а = | х |. Мы докажем, что нужное отражение определяется единичным вектором s, коллинеарным с х — а/.

Введем для этого ортонормированный базис и обозначим через | и <р координатные столбцы векторов х и f. Вычислим длину % вектора х — af:

|х-а/Р = (§-аф)г (^-аф) = ^|—га^ф + ^ф^ф.

Поскольку а2 = | х р — УХ и фт ф — I / Р = 1, имеем

%2 = | X — а/12 = (2а2 — 2а|7ф).

Рассмотрим вектор s с координатным столбцом К1 (| — аф) и определяемое им отражение с матрицей

Р = £-2Г2(1-аф)(§-аФ)Д

Образ вектора х при этом отражении есть

^=^-2Х-2^-аф)(§-аф)^. Но

(§-аф)^ = ^-аф^=1?Л

Поэтому Р ^ = | — § + «ф, и мы видим, что построенное отражение обладает нужным свойством. Предложение доказано.

Докажем с его помощью следующее

Предложение 8. Квадратная матрица А может быть разложена в произведение QR, где Q — ортогональная, a R — верхняя треугольная матрицы.

Для доказательства отождествим пространство столбцов высоты п с евклидовым пространством, в котором выбран ортонормированный базис. Пользуясь предложением 7, мы будем последовательно преобразовывать столбцы матрицы.'

Если первый столбец А нулевой, то пропускаем его. В противном случае строится такое отражение, которое переводит первый столбец А в столбец, пропорциональный первому столбцу единичной матрицы. Пусть матрица этого отражения есть Pw. Тогда.

Р^’Л = Ли),

и матрица Л(1) имеет вид

“1 аи0 ам“1 аи0 ама'^а2ла'^а2л

“1 аи

0 ам

“1 аи

0 ам

а'^

а2л

а'^

а2л

О а'Ч ... а'11пг •• ЦП

с элементом аъ равным евклидовой норме первого столбца матрицы Л.

Пусть теперь проделано k — 1 шагов и построены матрицы отражений Pw, ..., Р^-1) такие, что матрица Л^-11 = Р(й-1)... Р(1)Л с элементами а^-^ имеет в первых к — 1 столбцах нули ниже главной диагонали.

На й-м шагу строится отражение, переводящее столбец

И0^^0, ^--..,^(9)

в к-й столбец единичной матрицы. Оба участвующих здесь столбца имеют нули на первых к — 1 местах и, следовательно, тем же свойством обладает и о — координатный столбец вектора, порождающего отражение. Согласно (8) отсюда прямо следует, что первые к — 1 строк и первые к — 1 столбцов матрицы отражения не отличаются от соответствующих строк и столбцов единичной матрицы, т. е. она имеет следующее строение:

Я- (10)

Если последние п — к элементов столбца (9) равны нулю, то по описанному выше способу отражение построено быть не может, так как вектор о окажется равным нулю. Но в этом случае столбец матрицы А не нуждается в преобразовании, и отражение может быть пропущено.

Очевидно, что при умножении матрицы (10) на произвольный столбец | первые к — 1 элементов столбца не изменятся, а последние п — к + 1 элементов столбца Р^^ не зависят от первых к — 1 элементов столбца § и получаются умножением клетки Р на нижний отрезок столбца |, содержащий и — к + 1 элементов.

Отсюда видно, что первые к — 1 строк и первые к — 1 столбцов у матрицы

AW = pwA*-x>

те же, что и у матрицы А(й-1), и, кроме того, к-й столбец имеет вид

0, .... OF

I.n-к

Таким образом, матрица A(6) в первых к столбцах имеет нулевые элементы ниже главной диагонали.

Заметим, что произведение отражений уже не будет, вообще говоря, самосопряженным преобразованием, но будет ортогональным.

После п — 1 шага мы придем к верхней треугольной матрице Д^1*, которую и обозначим буквой R. Если P^^.-.PW = р и Q = Рт, то равенство R = Р(л-1)...Р(1)Д равносильно разложению на множители (7).

Предложение 9. Если матрица А невырождена, то ее QR-разложение, в котором диагональные элементы R положительны, единственно.

Доказательство. Пусть А = Q1R1 = Q2R2. Тогда из невырожденности А следует, что Rt невырождена, и мы можем написать

QIQi = P^Rr.

Обозначим матрицу R2RA через U. Как произведение верхних треугольных матриц она является верхней треугольной. Верхней треугольной является и U"1. Но в силу предыдущего равенства U — ортогональная матрица, потому U'1 = UT — нижняя треугольная матрица. Это означает, что U диагональная, а диагональная ортогональная матрица может иметь на диагонали только +1 или —1. Так как диагональные элементы матриц R^ и R2 положительны, из R2 = UРг следует U — Е. Теперь доказываемое очевидно.

Разложение на ортогональный и треугольный множители, полученное методом отражений, может быть использовано для вычисления детерминанта и для обращения матрицы. Действительно, det А = det Q det R. Здесь det Q = (—1)^, где s — число произведенных отражений, так как детерминант матрицы отражения равен —1. Детерминант матрицы R вычисляется непосредственно как произведение ее диагональных элементов.

Для нахождения обратной матрицы заметим, что из А = QR следует

и дело сводится к обращению верхней треугольной матрицы R. В предложении 2 было показано, как может быть обращена нижняя треугольная матрица. Верхняя треугольная матрица обращается аналогичным образом.

Оценим объем памяти, необходимый для записи (^-разложения, полученного методом отражений. Произведение матрицы отражения на произвольный столбец § можно находить, используя формулу (8): -

Р1 = ^-2ооЧ.

Это означает, что нет необходимости помнить все матрицы отражений, а достаточно сохранять координаты порождающих отражения векторов, да и только те координаты, которые не являются заве-

домо нулевыми. Таких координат у всех п — 1 векторов будет п + (п — 1) + ... + 2 = п (п + 1)/2 — 1. На запоминание элементов матрицы /?, лежащих не ниже главной диагонали, следует отвести п (п + 1)/2 ячеек. Таким образом, для запоминания обеих матриц Q и R требуется только на п — 1 ячейку больше, чем для запоминания матрицы А.

Метод вращений. Второй широко распространенный способ получения 6/?-разложения называется методом вращений. Для его описания рассмотрим в евклидовом пространстве Шп ортонормиро- ванный базис elf .... еп. Вращением в плоскости векторов е,- и ej (i > /) этого базиса называется преобразование с матрицей

Г

(11)(11)h cos (р— sin ф

(11)

(11)

I sin фCOS ф

которая отличается от единичной только подматрицей второго порядка, расположенной в строках и столбцах с номерами i и /. При этом преобразовании в плоскости векторов е, и е, происходит поворот на угол ф, а каждый вектор ортогонального дополнения этой плоскости остается неизменным. При умножении матрицы вида (11) на некоторый столбец £0 все его элементы останутся неизменными, за исключением t-ro и /-го, которые преобразуются по формулам

(12)(12)^*' = ^ COS ф - £/sin ф,^/ = ^sin ф + ^СО5ф.

(12)

(12)

Очевидно, что, каковы бы ни были ^ и ^, найдется такое вращение, при котором ^'= ^(ь )2 + (&7)2, а ^2 = 0. Коэффициенты в формулах (12) должны быть равны в общем случае

cos ф = ^о/р, sin ф = — ^/р,

где р = ]/(^)2 + (^)2. Если же £' = 0, то фО5ф=1, 5Шф = 0, т. е. матрица Р единичная.

Для невырожденной квадратной матрицы А мы можем построить последовательность матриц вращений PW, .... PiNi вида (11) такую, что матрица R = PW...PWA будет верхней треугольной (с ненулевыми элементами на главной диагонали). Легко видеть, что это равносильно нахождению разложения (7).

Последовательность матриц Pw PiNl содержит для каждого столбца А столько матриц, сколько в этом столбце ненулевых элементов под главной диагональю. Мы будем считать, что N = = п (п — 1)/2, так как, если среди поддиагональных элементов

матрицы Л есть нулевые, то соответствующие матрицы вращений можно полагать единичными.'

Рассмотрим первый столбец матрицы Л. Вращение в плоскости векторов ^ и е2 с матрицей Р^ выбирается так, чтобы в матрице ДЧ) = Р^Л обратился в нуль элемент а'^. Затем осуществляется вращение с матрицей Р1^ в плоскости векторов ^ и е3, которое обратит в нуль элемент а'й матрицы Л(2) = Р(2)Л(1), и т. д. Вращение в плоскости векторов Cj и Cj не меняет элементов столбца с номерами, отличными от 1 и /, и, следовательно, при последующих вращениях не будут изменены элементы, обращенные в нуль при предыдущих. После п •— 1 вращений мы получаем матрицу ^f"-1) = = Р(л-1)...Р(1)Л, у которой все элементы первого столбца, кроме самого верхнего, равны нулю.

Вращения, которые обращают в нуль под диагональные элементы второго столбца, выбираются аналогично в плоскостях векторов е2, ej для всех / = 3,..., п. Их матрицы мы обозначим Р^п\ ..., р(2л-з). Положив в формулах (12) i = 2 и / > 2, мы видим, что при таких вращениях нулевые элементы первого столбца останутся неизменными.

Точно так же для столбца с произвольным номером m < п — 1 вращениями в плоскостях векторов ет1 е;- для всех / = т + 1, .... п мы можем обратить в нуль элементы, расположенные под главной диагональю. Такие вращения не изменят поддиагональных элементов предыдущих столбцов, и они останутся нулевыми.

Применение процесса ортогонализации. QP-разложение тесно связано с процессом ортогонализации Грама — Шмидта. Если столбцы матрицы А линейно независимы, то они образуют базис в арифметическом пространстве е%’л. Применим к ним процесс ортогонализации. Как известно, при этом первый столбец ах нормируется, т. е. заменяется на qx= Pn^i- Второй столбец <72‘заменяется на линейную комбинацию ^2= Pi2^i + Р22Я2 и, вообще, /-й столбец должен быть заменен на

Я; = Pv«i + • • • + РцаР(13)

Коэффициенты р,у выбираются так, чтобы столбцы qj образовывали ортонормированную систему, и, следовательно, матрица Q = = || 9П .... qn || ортогональная. Рассмотрим столбцы

«/ = |Р1/Ру/, ООр,

и матрицу U, составленную из них. U — верхняя треугольная матрица, а равенства (13) означают, что AU = Q. Очевидно, что это равносильно (^-разложению с Р ~ U"1.

' Таким образом, метод ортогонализации Грама — Шмидта может служить для получения (^-разложения. К сожалению, численная устойчивость этого метода невелика. Ошибки округления накапливаются таким образом, что получаемая в результате матрица Q

может оказаться далеко не ортогональной. Существуют методы улучшения этого процесса, но мы их рассмотрим в § 3 гл. IV.

Сравнение методов и оценка их точности. Мы рассмотрели два подхода к решению систем линейных уравнений: метод Гаусса, дающий LU-разложение, и методы отражений и вращений для получения (^‘Разложения. При правильной реализации метод Гаусса требует выполнения меньшего числа арифметических операций и меньшего объема оперативной памяти. Он также дает наилучшую точность решения при условии хорошего выбора последовательности главных элементов или, что то же самое, при удачном масштабировании матрицы.

Единственный существенный недостаток метода Гаусса состоит как раз в зависимости точности результата от выбора главных элементов. Иначе можно сказать, что элементарные преобразования, применяемые в методе Гаусса, меняют норму матрицы, и может оказаться, что элементы матриц Л^>, которые получаются в процессе решения, сильно возрастают по абсолютной величине. Это вызывает рост числа обусловленности и потерю точности решения.

Методы вращений и отражений близки между собой по точности. Как видно из приводимых ниже оценок, точность эта- примерно такова же, как и для схемы единственного деления, хотя уступает точности, достижимой при применении компактной схемы с режимом накопления. Отметим, что режим накопления требуется и для реализации высокой точности в методе отражений.

По числу арифметических операций и требуемому объему памяти метод отражений лучше метода вращений и по этим характеристикам сравнительно немного отстает от метода Гаусса.

Вместе с тем методы отражений и вращений свободны от основного недостатка метода Гаусса, поскольку умножение на ортогональную матрицу не меняет ни спектральной нормы матрицы А, ни ее спектрального числа обусловленности.

Количественные оценки тех качеств рассматриваемых методов, на которых основано приведенное сравнение, можно найти в книге Воеводина [5]. Остановимся на оценке точности решения.

Три величины могут характеризовать точность решения системы линейных уравнений:

Погрешность, т. е. бх = х0 — х, где х — вычисленное, а х0 — истинное (теоретически существующее) решение. Обычно оцениваются || бх|| или относительная погрешность || х0— х||/|| х0 II.

Столбец г = b — А х называется невязкой, даваемой вычисленным ранением х. Истинное решение дает нулевую невязку. Невязка и ее норма || b—Ах || могут характеризовать точность решения. Рассматривается также и относительная невязка ЦЬ — — ЛхЦДхй. .

Согласно принципу обратного анализа ошибок округления влияние этих ошибок на решение может быть описано следующим

образом. Может быть доказано, что приближенное решение является точным решением системы линейных уравнений

. (Л+^)х = &+Д

Матрица F называется эквивалентным возмущением для Л, а столбец /—для Ь. Нормы эквивалентных возмущений являются характеристикой точности решения.

Невязку вычислить удобнее, так как точное решение х0 нам неизвестно, но интересует нас главным образом погрешность. Из очевидного равенства

А6х = Ь — Ах = г(14)

следует

Поэтому из малости || г || вытекает, что || bx II мала. Но если Л*1 имеет большую норму, то нужно добиться очень малой невязки, для того чтобы иметь гарантированно малую погрешность.

Возможен следующий подход. Если невязка г вычислена с повышенной точностью (с использованием режима накопления), то вычисленное решение Ах системы (14) служит хорошей оценкой для Ъх. Кроме того, Xi= х+ Ах есть лучшее приближение к истинному решению, чем х. Вычисляя невязку, которую дает Хь можно получить следующее приближение х2, и т. д. Подробнее мы опишем этот процесс в следующем параграфе, но сейчас следовало упомянуть о нем, так как по скорости сходимости последовательности х, хъ х^, ... можно судить об обусловленности матрицы А. Соответствующая оценка будет получена на стр. 167.

Вычисление последовательных приближений не связано с большим увеличением числа операций и времени счета, так как при решении систем вида (14) используется уже полученное разложение матрицы А на множители (LU- или Q/^-разложение). Поэтому иногда считается целесообразным (см. Уилкинсон и Райнш [34]) использовать построение последовательных приближений, вместо того чтобы находить число обусловленности и с его помощью оценивать точность решения.

Перейдем теперь к оценке относительной погрешности. Здесь нам придется ограничиться только формулировками.

Если /.^-разложение получено методом Гаусса с выбором главного элемента по столбцу, то произведение LU в точности удовлетворяет равенству

LU = A-VG, причем

|GI£^npupk.(15)

Здесь и — единичная ошибка округления, зависящая от точности применяемой вычислительной системы, а р определяется так;

если а®— элементы матриц Л(Л), которые вычисляются в процессе исключения, то

P^Tto^/l)! Те-

тании образом, р может быть определено только после окончания вычислений. В этом смысле оценка является апостериорной. Она может быть использована как априорная оценка, если учесть следующее соображение, основанное на опыте вычислений: если матрица не является плохо обусловленной, тотах1а(Л>| превосходит и ь 1

max \ ац | не больше чем в несколько раз.

и /

Оказывается, что мы можем записать эквивалентное возмущение для других встречавшихся нам разложений на множители в форме, аналогичной (15): полученное произведение матриц отличается от А на матрицу G, оцениваемую неравенством l!Gk<J(n)uMh(16)

где функция / (л) зависит от порядка матрицы А и примененного алгоритма разложения.

Для ^[/-разложения, получаемого по компактной схеме метода Гаусса, главный относительно п член функции f представляет собой константу р', но константа эта зависит от роста элементов матриц Aw подобно определенной выше константе р. Это утверждение справедливо при условии, что вычисления по компактной схеме производятся в режиме накопления, и показывает, что в этом случае можно ожидать примерно n-кратного увеличения точности по сравнению с обычной схемой. Заметим, что для компактной схемы, применяемой к положительно определенной матрице, р' = 1.

Существенное достоинство методов получения СД-разложения в том, что для них / (п) может быть априорно оценена. Именно, как для метода вращения, так и для метода отражений главный член / (п) имеет вид 2,9п. (При этом для метода отражений, как было отмечено, обязательно применение режима накопления.)

Далее, может быть показано, что для всех обсуждаемых методов относительная погрешность вычисленного решения удовлетворяет оценке

-1^^^2с£(Л)^(п)«,

где главные относительно п члены функций g и / совпадают.

Итерационные методы решения систем линейных уравнений

в принципе может быть построено не решение, а только последовательность, к нему сходящаяся. Некоторый достаточно близкий к пределу член этой последовательности принимается за приближенное решение. Таким образом, итерационные методы имеют некоторую теоретически необходимую ошибку. Это ни в коем случае не является их недостатком по сравнению с прямыми методами. Действительно, упомянутая ошибка может быть сделана меньше, чем погрешность, вызванная ошибками округления при получении решения прямым методом. Как мы увидим ниже, в п. 3, итерационные методы могут применяться для уточнения решений, найденных при помощи прямых методов.

Слабость итерационных методов в том, что каждый из них сходится, т. е. дает сходящуюся последовательность, вообще говоря, не для любой системы линейных уравнений. Однако для какого-либо выбранного метода часто возможно так преобразовать систему, чтобы для преобразованной системы этот метод сходился.

Эффективность итерационного метода во многом определяется скоростью его сходимости, и потому скорость сходимости всегда находится в центре внимания при разработке таких методов. Характерно также, что итерационные методы работают лучше, если известно хорошее начальное приближение, принимаемое за первый член последовательности, хотя обычно они сходятся при любом ' начальном приближении. '

Конечно сходимость итерационных методов может иметь место только теоретически. В силу неизбежных ошибок округления вычисленные приближения несколько отличаются от истинных. Поэтому нельзя утверждать, что вычисленные приближения с достаточно большими номерами лежат в сколь угодно малой окрестности истинного решения. Можно сказать только, что они попадают в некоторую его окрестность, размеры которой определяются точностью вычислений. После того как получено приближение из этой окрестности, дальнейшие вычисления не повышают точности результата.

Типичная область применения итерационных методов — это системы линейных уравнений, возникающие при численном решении уравнений с частными производными. Обычно это системы из большого числа уравнений с большим числом неизвестных, матрицы которых могут легко записываться и обрабатываться только благодаря их специальному строению. Но специальное строение матриц, как правило, нарушается при тех преобразованиях, которым они подвергаются при применении прямых методов. Итерационные методы свободны от этого недостатка.

Большое количество итерационных методов (и не только для систем линейных уравнений) может быть получено применением принципа неподвижной точки (иначе называемого принципом сжатых отображений). Приведем его формулировку.

Пусть <55 — полное линейное нормированное пространство и F — его отображение (не обязательно линейное) в себя. F назы-

вается сжимающим множество <^ S ^, если существует такое число а е [0, 1), что для любых х' и х" из <^ выполнено условие

I! F W - F (х") | ^ а J х' - х" ||.

Заметим, что определение это применимо и тогда, когда F определено не на всем пространстве 56, а только на множестве е<.

Теорема 1. Пусть ^ — замкнутое ограниченное множество е 56 и отображение F сжимает <Ж. Тогда уравнение

x = F(x)(1)

имеет в <И1 одно и только одно решение.

Поскольку нам не придется использовать эту общую формулировку, мы не приводим доказательства, которое можно найти, например, в книге Федорюка [36]. Доказательство основано на том, что в условиях теоремы любая последовательность векторов {х*} из <^, задаваемая рекуррентной формулой

x*+i = F(x*), .(2)

сходится к решению уравнения (1).

Метод простой итерации. Проще всего придать системе линейных уравнений Ах= b вид (1), прибавив х к обеим частям равенства!

х = х — Ах + Ь = (Е — А) х + Ь.

Более общую формулу мы получим, если предварительно умножим обе части равенства на невырожденную матрицу //

х = хА-Н ф — АхУ

Это позволяет построить итерационный процесс, задаваемый рекуррентной формулой

Хь+х =+ Иф — Ах^.(3)

Введя параметр т и обозначив Н через тВ"1, мы можем переписать формулу (3) в виде

B^H-Xk +Axfc = b.(4)

Нахождение приближенного решения о использованием формулы (3) называется методом простой итерации или стационарным методом. Формула (4) соответствует общему неявному методу простой итерации. Значение параметра т выбирается для конкретной системы так, чтобы скорость сходимости была максимальной.

Формулам (3) и (4) можно придать вид

xk*i = Pxi,-Vf,(5)

если положить Р — Е — НА, a f = Hb, или соответственно Р -* ^Е — хВг^А и f^^Br^b.. '

Допустим, что система Ах = Ь совместна и х*—ее решение. Вычтем х* из обеих частей равенства (5). Учитывая, что f=Hb = я= НАх*, мы получим

Xw-X* = P^b-X*Y

Отсюда, обозначив dk — xk— х* для всех к = 0, 1, .... имеем d„ = Pkd0.

Нетрудно доказать, что последовательность {d/Д сходится при любом d0 (а значит, и {xft} при любом х0) тогда и только тогда, когда сходится последовательность степеней матрицы Р. В самом деле, если Рк -> Q, то для любого е'>■ 0 найдется номер к0, начиная с которого \\ Рк— Qll-<e', а следовательно, при любом d6

I)dk -Qd0 JO Pk-Q|f dfl I! < e' |i d0|.

Остается при произвольном e > О выбрать е' = е || d0 1Г1.

Обратно, если последовательность Pkd0 сходится при любом d0, то, выбирая в качестве d0 столбцы единичной матрицы, мы покажем, что при всех i = 1п сходятся последовательности {рр’}, где р^ — t-й столбец матрицы Рк. Следовательно, последовательность степеней сходится в смысле поэлементной сходимости.

Мы видели, что d^-* Qd6, где Q=lim Рк, и, следовательно, к-» со

предел х последовательности {х*} удовлетворяет соотношению

х — х* = Qdo.

С другой стороны, очевидно, что х— решение системы, и потому Qdti удовлетворяет приведенной однородной системе, т. е. AQd0 = 0. Это условие выполнено при любом d0, если

AQ = O,

и только в этом случае. Теперь мы можем доказать

Предложение 1. Пусть матрица А системы линейных уравнений Ах = Ь невырождена. Тогда последовательность столбцов, задаваемая рекуррентной формулой (5), сходится при любом начальном векторе ха тогда и только тогда, когда спектральный радиус матрицы Р меньше единицы.

Доказательство. Предыдущие рассуждения показывают, что при невырожденной матрице А последовательность {xfc} сходится при любом хв тогда и только тогда, когда Q = О. Нам остается доказать, что Pk -> О тогда и только тогда, когда спектральный радиус Р меньше единицы. Для этого воспользуемся теоремой 2 § 3 гл. II. В применении к функции / (£) — £fc и матрице Р формула (15) § 3 гл. II имеет вид

S ^

где Zy — компонентные матрицы для матрицы Р, число различных характеристических чисел обозначено через s, а кратность i-ro ■ числа — через т,. Отсюда в силу линейной независимости компонентных матриц непосредственно вытекает доказываемое.

Замечание. Из доказательства предложения 1 видно также, что итерационный процесс сходится тем быстрее, чем меньше спектральный радиус матрицы Р.

Предложение 2. Если || Р || < 1, то рекуррентная последовательность, задаваемая формулой (5), при любом начальном векторе сходится не медленнее, чем сумма геометрической прогрессии со знаменателем || Р ||.

То, что условие || Р || < 1 достаточно для сходимости рассматриваемой последовательности, непосредственно вытекает из предложения 1, если вспомнить оценку для спектрального радиуса матрицы (предложение 1 § 4 гл. II). Мы приведем другое доказательство, позволяющее оценить скорость сходимости. Если для любого & обозначить dfi = Xk — Хь-ъ то, как легко видеть, Хи = хй + dv + + ... + dk. Следовательно,

СО

х = Иш xb = x0-V s ^*-к-юа = 1

Пусть в ьУп выбрана некоторая норма, и матричная норма согласована с ней. Используя критерий Коши (см. Кудрявцев [16], т. I, §18), нетрудно доказать, что для сходимости ряда достаточно сходимости ряда из норм его членов. Для dk имеем dk — Pd^, откуда II dk || ^ || Р || • || d^ ||, и в случае || Р || < 1 для ряда из норм выполнен признак Даламбера. Итак, в этом случае последовательность xh сходится не медленнее, чем сумма геометрической прогрессии со знаменателем || Р ||. Предложение доказано.

Выше мы говорили о спектральном радиусе матрицы, как о чем- то точно определенном. В действительности, если арифметические операции производятся с округлением, спектральный радиус, как и многие другие величины, не может быть точно указан. В самом деле, пусть существует число А такое, что матрица Р — ХЕ является почти вырожденной. Число X во всех вычислениях ведет себя так же, как характеристическое число. В частности, если А> 1, то метод простой итерации с матрицей Р не сходится с должной точностью.

В любом случае для ускорения сходимости процесс должен быть построен так, чтобы норма матрицы Р была возможно меньше. Если вернуться к формулам (3) и (4), то это означает, что нужно выбрать матрицу Н йли соответственно параметр т и матрицу В так, чтобы || Е — НА || или || Е — В" ЧА || были возможно меньше.

Если бы мы могли положить Н = А'1, то процесс (при условии точного выполнения операций) сошелся бы за одну итерацию.

В разных итерационных методах выбираются матрицы, как-либо приближающиеся к Л-1, причем используются свойства заданной матрицы Л..

Широко известный метод Якоби относится к системам, матрицы которых имеют доминирующую главную диагональ (см. § 5 гл. II). Обозначим через D матрицу diag (ап, ..., апп), т. е. диагональную матрицу, диагональные элементы которой равны соответствующим элементам матрицы Л. Метод Якоби определяется формулой (3), в которой Н = О-1. Согласно предложению 1 построенная по этому методу последовательность сходится тогда и только тогда, когда спектральный радиус матрицы Е —D-1A меньше единицы.

Покажем, что для сходимости метода Якоби достаточно, чтобы А имела доминирующую главную диагональ. Для этого оценим с-норму матрицы Е —D-1A. Эта матрица имеет на главной диагонали нули, а ее внедиагональные элементы равны atfc =— ^. Поэтому

I! Е — О-1 А |!с = max ^ I “»а I = шах ^ | ^ |.

Если у А доминирующая главная диагональ, то каждая из сумм меньше единицы, и || Е —D^A. ||с с 1.

Использование других норм даст другие достаточные условия.

Ряд специализаций метода простой итерации связан с положительно определенными симметричными матрицами. Для любой такой матрицы А можно так подобрать матрицу Н, чтобы итерационный процесс (3) сходился. Действительно, характеристические чи- 2 ела А заключены в некотором интервале (0, а). Положив Н = ~ Е,

2

мы получаем матрицу Р = Е — — А, характеристические числа которой лежат в интервале (—1, 1). Действительно, если А = = S'M'S, где А' = diag (Xx, .... Х^, то Р = S'^'S, причем Р' — 2

диагональная матрица с элементами вида 1— — Xt на главной диагонали.

Мы не будем излагать более подробно применение метода простой итерации и общего неявного метода простой итерации к положительно определенным матрицам. Их изложение можно найти в книгах Д. К. Фаддеева и В. Н. Фаддеевой (35), Самарского [29].

Отметим, что случай положительно определенной симметричной матрицы является достаточно общим, так как система Ах = b эквивалентна системе АТАх = АТЬ с положительно определенной симметричной матрицей. Однако, как мы видели на стр. 129, матрица А ТА является, вообще говоря, значительно хуже обусловленной, чем матрица А. Поэтому практическое значение такого преобразования системы с целью применения итерационных методов невелико. Интерес, проявляемый к применению итерационных

методов к системам с положительно определенными матрицами, связан с тем, что такие системы достаточно часто встречаются в приложениях.

Итерационное уточнение. Допустим, что, применяя метод Гаусса, мы получили L (7-разложение матрицы А. Ошибки округления исказили результат, и потому LU ф А для вычисленных матриц L и U. В общем неявном методе простой итерации мы можем положить В = LU и т = 1. Формула (4) примет вид

LU d^+i = гк, (6)

где )-к= Ь — Ахи называется /г-й невязкой, a dk+i = хк+1— хк— (/г + 1)-й поправкой. В качестве начального приближения берется решение системы LUx» = b, затем вычисляется соответствующая невязка г0. Она принимается за столбец свободных членов системы с той же матрицей LU. Решение этой системы — первая поправка d^. Следующее приближение ^ получается как х0+ d]. Затем находится невязка этого решения rY = b — Ахг и вторая поправка d2 — как решение системы LUd, = гх. Вторым приближением будет лг2 = х, + d^ и т. д.

Если произведение LU близко к Л, то норма || Е — (ЕД) М || мала, и процесс сходится очень быстро при условии, что вычисления проделываются точно. Если они проделываются с той же точностью, с какой было найдено L (/-разложение, то ни к какому уточнению они не приведут, так как в этом случае все приближения имеют ошибку такого же порядка, как и ошибка начального приближения.

Практически это означает, что при итерационном уточнении вычисления должны проделываться с удвоенной точностью. Как показывает более детальный анализ (см. Форсайт и Молер [37]), особенно важна точность при вычислении невязок и прибавлении поправок. Если эти вычисления проделываются с точностью 2(/ разрядов (что может быть сделано с использованием режима накопления), а остальные вычисления производятся с (/-разрядной точностью, то в результате итерационного уточнения может быть получено истинное решение, округленное до q разрядов.

Покажем, что сходимость итерационного уточнения зависит от обусловленности матрицы А и точности полученного разложения. Пусть произведение вычисленных матриц L и U удовлетворяет равенству LU = А + G. Тогда

(LUy1 А = (А + G)-1 А = (Е + Л^С)-1.

Предполагая, что II Л'1 Il-Il G || < 1, мы можем представить эту матрицу в виде ряда

Е-Л-^ + И^О)2-...

Для матрицы Е— (LLPy'A, от которой зависит сходимость, мы получаем ряд

Каждая частичная сумма этого ряда по норме не превосходит соответствующей частичной суммы ряда из норм, и мы получаем

Согласно формуле (15) § 3 || G ||д ^ 6 || Д||£, где 6 = при. Значит, для сходимости процесса итерационного уточнения достаточно, чтобы

6сЕ (Л)1 — Сс£ (Д) < b

Мы предположили уже, что || Д'1 ||-|| G || < 1, т. е. 6 сЕ (Д) < 1. При этом предположении предыдущее условие означает, что 6с£(Д)<у. Итак, доказано

Предложение 3. Процесс итерационного уточнения сходится, если (при обозначениях п. 9 § 3)

^присв (Д) < 1.

Конечно, итерационное уточнение возможно и в том случае, когда известно не /.[/-разложение, а какое-либо другое разложение, например Q/^-разложение.

Метод Зейделя. В общем неявном методе простой итерации важно, чтобы матрица В была легко обратимой. Выберем ее треугольной. Если диагональные элементы матрицы А отличны от нуля, то нижняя треугольная матрица

ан О ...О £ __ ^21^22• • • О

°л! а№ • ■ • °лл (получаемая из А заменой наддиагональных элементов на нули) будет невырожденной. Метод Зейделя, или метод последовательных смещений, состоит в применении формулы (4) при т = 1 и В = L, т. е.

Е(хм-х^А-Ахк = Ь,или'

LXk-vi + Uxk = b,(7)

где матрица U = А — L отличается от А тем, что элементы на диагонали и ниже заменены на нули. Формула (7) позволяет легко вычислить хк+г по хк.

Согласно предложению 1 метод Зейделя сходится тогда и только тогда, когда все характеристические числа матрицы Е — ЕМ А — = —L"4J по модулю меньше единицы. Легко проверить, что эти числа совпадают с корнями уравнения

det ([/XL) = 0.(8)

Предложение 4. Для сходимости метода Зейделя достаточно, чтобы матрица А была симметричной и положительно определенной.

Это предложение является частным случаем доказываемого ниже предложения 6.

Метод Зейделя сходится скорее, чем метод Якоби, и требует несколько меньшего объема памяти. Последнее обстоятельство связано с тем, что при использовании треугольных матриц, после того как вычислена i-я компонента вектора Хд+i, соответствующая компонента вектора хк становится ненужной (см. формулу (7)).

В следующем пункте мы рассмотрим прием ускорения сходимости метода Зейделя при помощи введения параметра.

Метод верхней релаксации. Разобьем матрицу А на три слагаемых А = L + D + U. Матрица D, как и выше, есть diag (ап, ..., аф, a L и U получаются из А заменой на нули элементов ath при i ^ к и при i ^ к соответственно. Таким образом, матрица L из предыдущего пункта равна L + D. Будем предполагать, что det D ^ 0. Метод верхней релаксации определяется формулой (4) при условии t = qv. В = D 4- ®L. Формула (4) принимает вид

ф) -f- юЕ) (Хд+i — хк) Я- соД-Хд" tob, или

ф-\-юЦ xft+1 = [(l — го) D — иП]Хд + «Ь. •(9)

При со = 1 мы получаем отсюда формулу (7) — метод Зейделя.

Применяя предложение 1, мы видим, что метод верхней релаксации сходится тогда и только тогда, когда спектральный радиус матрицы

Р = Е — ф + соТ)-1 гоД

меньше единицы. Иначе матрицу Р можно представить в виде

(П + йТу-ЧО - о) о-№(/].

Характеристическое уравнение матрицы Р можно преобразовать следующим образом:

det ф — ХЕ) = det ф + ®Е)-1 det [(1 — ю) D — toU — X ф + ыЕ)].

Отсюда видно, что характеристические числа матрицы Р совпадают с корнями уравнения

det[(l-to)D-to(/-X(D + ®E)] = O.(10)

Введем в уравнении (10) вместо переменной X переменную ^ связанную с X соотношением

Легко видеть, что условие | X | < 1 равносильно условию Re В < О, а уравнение (10) перейдет в

det[— юАВ —(2 — ю) D + ю (Д — L)] = 0.(И)

Мы получили

Предложение 5. Метод верхней релаксации сходится тогда и только тогда, когда вещественные части всех корней уравнения (11) отрицательны.

Это позволяет получить следующее достаточное условие.

Предложение 6. Для сходимости метода верхней релаксации достаточно, чтобы матрица Л была симметричной и положительно определенной и чтобы со £ (0, 2).

Для доказательства напишем уравнение (11) для симметричной матрицы А и рассмотрим корень Во этого уравнения. Для |0 существует (вообще говоря, комплексный) ненулевой столбец х такой, что

[— аЛВо-(2-®)0 + ®(П-Е)]х = 0, и потому

— вД,охТАх — (2 — ю) xTDx + юхт (U — L)x = 0.(12)

Матрица U — L кососимметрична, и для нее мы имеем

хт <JJ — L) х = (—хт (и - ЦхУ = — хт (U - Цх = — хт (U - L) х.

Поэтому последний член в равенстве (12) имеет нулевую вещественную часть. Аналогично доказывается, что хтАх и xTDx вещественны. Кроме того, если А положительно определена, то все ее диагональные элементы положительны, и квадратичная форма xTDx также положительно определена. Приравнивая нулю вещественную часть (12), имеем

ReBo = —(13) со х1 Ах

Если со е (0, 2), то (м — 2)/со < 0. Отсюда следует, что Re Во < 0. Предложение доказано.

Предложение 4 следует отсюда как частный случай при со = 1.

Формула (12) позволяет высказать некоторые соображения о выборе параметра со в случае симметричной положительно определенной матрицы А. Предположим, что корни (11) вещественны, и перепишем (13) в виде Во = —аР> где а = (2 — со)/со, а р = = (xTDxV№TАх). Значению Х= 0 соответствует значение В “ = —1. Мы должны выбрать а таким образом, чтобы В было возможно ближе к —1.

Оценим р. Для этого можно воспользоваться результатом § 2 гл. I, согласно которому р заключено между минимальным и максимальным корнями уравнения det (D — ХЛ) = 0. Обозначим эти корни соответственно рх и р2. Тогда все корни уравнения (11) заключены между —а р2 и —а pv Для того чтобы приблизить эти

границы к —1, мы должны так выбрать а, чтобы наибольшее из чисел | 1 —ар2 | и | 1 —а рх | было минимальным. Это равносильно тому, чтобы минимальным было наибольшее из чисел | а — рГ1 I и I а — Р?1 I- Последнее будет достигнуто, если а — середина отрезка [р^1, р^1]. Такой выбор а не является наилучшим, но дает приемлемые результаты. В общем виде задача о нахождении наилучшего а решена, но решение достаточно сложно, и мы не будем на нем останавливаться.

Вычисление собственных векторов и собственных значений

Вводные замечания. В этом параграфе мы рассмотрим задачу нахождения ненулевых решений системы уравнений

Ах = Хх,

которые, допуская некоторую вольность речи, будем называть собственными векторами матрицы А. Различаются две постановки этой задачи: нахождение всех характеристических чисел и соответствующих собственных векторов называется полной проблемой собственных значений, а нахождение одного или немногих из них носит название частичной проблемы собственных значений.

Понятно, что проблема собственных значений, как полная, так и частичная, намного сложнее, чем рассмотренная выше задача решения системы линейных уравнений. Среди большого числа алгоритмов, предназначенных для ее решения, нет такого, который можно было бы рекомендовать во всех случаях, хотя некоторые из алгоритмов и выделяются своей эффективностью среди остальных. Некоторые алгоритмы особенно эффективны в специальных случаях, например специально приспособлены к симметричным или к ленточным матрицам.

Все имеющиеся методы решения проблемы собственных значений могут быть разделены на две большие группы: прямые методы, основанные на решении характеристического уравнения, и итерационные методы. В прямых методах важным этапом является нахождение коэффициентов характеристического многочлена, так как их вычисление на основе общих формул, прямо следующих из определения, требует осуществления очень большого числа арифметических операций. Вычисления, проделываемые для нахождения характеристического многочлена, обычно могут быть использованы для нахождения собственных векторов. Результат, получаемый Прямыми методами, является в принципе приближенным (т. е. даже если не говорить об ошибках округления), так как корни характе- Етического многочлена могут быть найдены только приближенно.

не будем излагать здесь прямых методов решения проблемы собственных значений. О них можно прочесть в книгах Гантмахера [8], Д. К. Фаддеева и В. Н. Фаддеевой [35].

Типичным итерационным методом является метод вращений, или метод Якоби. Исходная симметричная матрица А подвергается последовательно ряду преобразований вращения, рассмотренных нами в § 3 при построении (^-разложения. Однако, в отличие от @/?-разложения, па каждом шагу преобразование производится по формуле .

где Л(,,) — матрица, полученная после k-ro шага, a Т1^ — матрица вращения. По этой формуле в общем случае невозможно за конечное число шагов привести матрицу к такому виду, для которого характеристические числа устанавливались бы непосредственно. Очередное (/гф-1)-е вращение выбирается так, чтобы обратить в нуль наибольший по модулю внедиагональный элемент матрицы Л1А) или, если это затруднительно, любой элемент, превосходящий некоторое заданное число. В других вариантах уменьшается сумма квадратов внедиагональных элементов или вообще какая- либо норма матрицы Л(А), получаемой из Л(А) заменой диагональных элементов на 0.

В результате после достаточного числа К шагов матрица Л(6) оказывается близкой к диагональной и имеет те же характеристические числа, что и А. Диагональные элементы Л(А) принимаются за приближенные значения характеристических чисел, а столбцы матрицы Т = 1\... Tk — за приближенные собственные векторы.

На методе вращений более подробно останавливаться мы не будем. Заметим, что этот метод, как и другие итерационные методы, ввиду большой трудоемкости получил распространение только после появления электронных вычислительных машин, однако он является одним из наиболее эффективных методов для симметричных матриц.

Степенной метод. Этот метод применяется для решения частичной проблемы собственных значений. В простейшем варианте (прямой степенной метод без сдвигов), начиная с произвольного вектора .г0, строится последовательность векторов х0,л:1, ... по формулам

Ax^'kyi, Хд+1 = «& + 1Ут, (1)

причем положительный множитель aft+i выбирается так, чтобы II хм II = 1.

Очевидно, что эта же последовательность может быть задана формулой

Wh = Акх0, (2)

где pft = а^.а^.

Каким из выражений (1) или (2) следует пользоваться — вопрос экономии числа арифметических операций. Как правило, используется формула (1), так как, скажем, для получения х2 по формуле (2) нужно умножить матрицу А на столбец п + 1 раз, а для получения по формуле (1) — всего 2 раза. Однако для больших

степеней, вычисляя Д2, А4, Д8, ... последовательным возведением В квадрат, можно получить результат по формуле (2) за меньшее число операций.

Допустим, что среди характеристических чисел матрицы Д есть вещественное число Xi, по модулю превосходящее остальные. При этом условии мы можем доказать, что построенная последовательность сходится. С этой целью напишем спектральное разложение Дй по формуле (15) § 3 гл. II. Мы получим

s mi

Wk= ц £ (x^z^o.(3)

i=i /=1

Здесь числа т, — кратности корней X,- в минимальном многочлене, a Z;/ — постоянные матрицы, называемые компонентными матрицами. Разделим обе части равенства на ^‘“'Xt Тогда

m si

ЧьХк = £ ^ ^цХо-(4)

i = i/=i■

Здесь y*.= p^fe^^ + ’X^*, а коэффициенты мку, выполнив дифференцирование, мы можем записать следующим образом:

При М < 1 очевидно, что чку-> 0 при £->оо. При I = 1 для / < $1 имеем также vkij -*- 0, но уже за счет того, что в числителе дроби степень к меньше, чем sx — 1. Коэффициент v^ имеет конечный ненулевой предел, который мы обозначим через р. Итак, при к-* оо

т si

^i ^। ^kijZjjXQ *-pZls1^o*

i = 1 / = 1

Мы видим, что для любого е > О при всех к > кй (е)

II 4kXk pZjS1Xo |j ^ в.

Отсюда нетрудно получить

(pZis^o || - 6 < II чкхк || < || p-Z1Slx014-е

и, так как || ^кхк+1 II = чк II хк+1 II = yk,

Тй ~*" I ^1$1Х0 |.

В общем случав Z^x» ^= 0, а значит, не равен нулю предел у последовательности у*. Отсюда

у7 у

К рассмотрению случая Z1Slx0 = 0 мы вернемся несколько позже.

- Для сходящейся последовательности ^к отношение Ук/Ук-i стремится к 1. Поэтому из

Vt = о* (й—1)

Та-1 ^1 к

следует ср,->?.(. Равенства (1) можно записать в виде

Ахк = a,k+iXk+i.

Переходя к пределу, мы видим, что хк стремится к собственному вектору, принадлежащему собственному значению Хр

Впрочем, вспомнив определение компонентных матриц, нетрудно заметить и непосредственно, что в том случае, когда Z1S1x0 отличен от нуля, он является собственным вектором, принадлежащим Хь

Посмотрим на проведенное рассуждение несколько подробнее. Каждый член суммы (3) стремится к 0 или к оо при к-> со, и это определяется его «порядком» ^'-т^. Мы накладывали ограничение ] Xi | > | Хг | (t > 1). В общем случае могут оказаться несколько членов суммы (3) с равными порядками. Тогда хк сходйтся к некоторой линейной комбинации собственных векторов, соответствующих этим членам.

Для вещественных матриц предположение о вещественности максимального по модулю характеристического числа является существенным. Есть возможность находить степенным методом комплексные характеристические числа и соответствующие инвариантные подпространства для вещественных матриц, но мы не будем останавливаться на этом вопросе.

Теперь обсудим, что будет, если начальный вектор х0 выбран так, что Z1$1x0 = 0. В этом случае член суммы (3) с максимальным порядком обращается в нуль. Изменяя рассуждение, мы должны будем разделить обе части равенства (3) на самый большой из порядков не обратившихся в нуль членов. В остальном доказательство не изменится, и мы увидим, что последовательность хк стремится к собственному вектору, соответствующему старшему из членов. В частности, может оказаться, что этот собственный вектор принадлежит другому собственному значению.

Однако в действительности равенство Z1$1x0 = 0 вполне точно выполняться не может, и даже если бы оно выполнялось, ошибки округления на первых же итерациях вызовут эффект, равносильный его нарушению. Значит, в рассматриваемом случае последовательность хк вполне может сходиться к собственному вектору, принадлежащему максимальному по модулю характеристическому числу. Этого может не произойти, если ошибки округления малы, а последовательность сходится быстро. -

Обратный степенной метод. В других вариантах степенного метода тот же процесс применяется не к исходной матрице Л, а к некоторой функции от нее. Рассмотрим широко применяемый ва-

риант, называемый обратным степенным методом со сдвигом. В этом случае вместо матрицы Д используется матрица (Д — рЕ)-1. Конечно, обратную матрицу можно не вычислять, а строить последовательность по формулам

хк = а*+1 (Д - рЕ) Хт,(5)

решая систему линейных уравнений относительно хкИ. При этом пользуются вычисляемым один раз L Д-р изложением или QR-разложением матрицы А — рЕ.

Характеристические числа р; матрицы Д — рЕ связаны с характеристическими числами Д равенствами р,- = (Xz — р)*1. Таким образом, обратный степенной метод со сдвигом дает последовательность, сходящуюся к собственному вектору Д, принадлежащему тому из характеристических чисел Xz, для которого | Xz — р I"1 максимален. Это характеристическое число является ближайшим к числу р.

Обычно обратный степенной метод со сдвигом применяется в том случае, когда надо найти собственный вектор по известному приближенному значению характеристического числа. При этом сдвиг полагают равным этому значению, и последовательность сходится очень быстро, возможно, за одну итерацию. Трудность здесь состоит в том, что при р, близком к характеристическому числу Хг, приходится решать систему с плохо обусловленной матрицей.

Покажем, что, несмотря на эту трудность, собственный вектор может быть получен достаточно точно, если он не является плохо обусловленным, и собственное значение Xz хорошо отделено от соседних.

Точность вычисленного вектора х может быть оценена по невязке

о = (Д — рЕ) х.

Норму ||х II = (хТхУ^ вектора х будем считать равной 1. Тогда предыдущее равенство можно переписать в виде

(Д — ухг)х = рх.

Отсюда видно, что х является точным собственным вектором, принадлежащим собственному значению р для возмущенной матрицы Д — "ох7. Если норма невязки мала, то мала и норма возмущения Н — —*охГ. Действительно, для любого вектора у при ||^ || = 1 имеем || (тхт') у II = II у (хту) II ^ II о II, причем равенство достигается при х = у. Поэтому для возмущения Н находим

ця{= sup цдум®!!-

1у| = 1

Формулу (5) можно записать в виде

(Д-рЕ)хл+1 = ^-.

Напомним, что а6+1 выбирается так, чтобы вектор x*+i имел норму, равную 1, т. е. аЛч = || (Л — рЕ)-1^ II. Вектор хк/пт можно трактовать как невязку, которую дает х*+1, и, следовательно, чем больше at+1, тем меньше невязка и тем меньше эквивалентное возмущение И.

Для того чтобы оценить величину а6, вспомним, что в общем случае (т. е. для начального вектора х0, не удовлетворяющего некоторому точному равенству) величина ак стремится к наибольшему по модулю характеристическому числу матрицы, определяющей процесс. Если сдвиг р близок к ^ и удален от остальных характеристических чисел А, то наибольшим по модулю характеристическим числом матрицы (Л — рЕ)-1 будет (Xz — р)'1. Таким образом,

^н^-р^оо),

и можно ожидать больших значений aft и, следовательно, малой нормы невязки.

Однако на первых итерациях это предельное соотношение не играет такой роли, как выбор начального вектора. Покажем, что при удачном выборе этого вектора можно получить малую невязку уже на первой итерации. Действительно, мы можем предполагать, что норма матрицы А — рЕ невелика и число обусловленности II Л — рЕ ||-|| (Л — рЕУ1 || велико потому, что || (Л — рЕУх || > > е-1, где е — некоторое малое число. В случае спектральной нормы это означает, что существует единичный вектор х0, для которого | (Л —рЕУ^о | > е'1. Это — первый вектор сингулярного базиса матрицы (Л — рЕ)"1. Если в качестве начального вектора взять х0, то уже после первого шага невязка окажется по норме меньше чем е.

Приведенное соображение не слишком утешительно, так как хороший начальный вектор нам неизвестен. Впрочем, оно не так бесполезно, как может показаться. В самом деле, при решении плохо обусловленной системы линейных уравнений оказывается большой как раз компонента ошибки по первому вектору сингулярного базиса обратной матрицы (предложение 5 § 2). Поэтому, если на первой итерации решение содержало большую ошибку, эта ошибка вызовет сокращение невязки на следующей итерации.

Обсудим скорость сходимости обратного степенного метода. Она зависит от коэффициентов в разложении (3), написанном для матрицы (Л — рЕУ1:

S т1^кхк= 5 5 [(^-р)-^-1)^.(=1/=1

Производная [(X,- — р)-*]^-^ равна (X/ — p)-ft при / — 1, а при /> 1

й-pyv-i •

Если р близко к ^ и №1^X0#= О, то старшим будет член, содержащий этот вектор, и порядок коэффициента в старшем члене равен &si"1

ьг-т. Скорость сходимости определяется скоростью стрем- (Х,-р) + z *

ления к нулю отношений

ks‘~l (У — p)»+/-i

Мы видим, что наименее благоприятен случай, в котором существует характеристическое число Xz-, также близкое к р и имеющее большую кратность в минимальном многочлене. Иногда положение может быть исправлено при помощи изменения сдвига, но если Zz и Кг действительно близки между собой, это свидетельствует о плохой обусловленности задачи.

Скорость сходимости уменьшается также, если вектор Wt^x» мал или равен нулю. Как объяснялось выше, его обращение в нуль, вообще говоря, не влияет на вычисленный собственный вектор.

Вектор, к которому сходится последовательность, может зависеть от начального приближения в двух случаях. Во-первых, если существуют несколько различных характеристических чисел, модули которых равны и превосходят модули остальных. Во-вторых, если максимальному по модулю характеристическому числу соответствует собственное подпространство размерности m > 1. Как в этом случае найти базис этого подпространства, мы опишем несколько ниже.

Ошибки округления, возникающие на каждой итерации, как и при итерационном решении систем линейных уравнений, влияют на сходимость процесса.

Если учесть ошибки округления и в равенстве (Л — рЕУ1хк= =а&+1Л:»+1 под xft+i и хк понимать фактически вычисленные векторы, то это равенство должно быть исправлено дополнительным слагаемым

(Л - рЕу1 хь = а.мхм + ик.

Все векторы и* ограничены: || ик || < 6, причем S нё зависит от итерации. Как и выше, мы можем написать

((Л - рЕУ^ - и^ хк = а*+1ХА+1.

Это значит, что результат тот же, что и при точном выполнении итерации с возмущенной матрицей (Л — р£У* + Е, где F = = —икхк.Поэтому на какой-то итерации может оказаться, что вектор Добудет с рабочей точностью совпадать с хк, но он будет собственным вектором не для (Л — рКГ1 (и тем самым не для Л), а для другой близкой матрицы. Иными словами, нельзя гарантировать, что улучшение приближений хк будет продолжаться после

того, какхй окажется равным собственному вектору некоторой матрицы (Л — рЕ)"1 = Н, где || Н || <_ б. Фактически достижимая точность зависит от обусловленности собственного вектора и собственного значения.

Если приближенное значение характеристического числа не известно заранее, в принципе степенной метод будет сходиться и при любом сдвиге (например, нулевом), но сходимость будет гораздо более медленной. В этом случае для ускорения сходимости применяется сдвиг, меняющийся на каждой итерации. Для симметричной матрицы лучшие результаты получаются, если в качестве сдвига брать отношение Релея, вычисленное для очередного вектора Хъ Мы не будем подробно останавливаться на этом, как и на многочисленных других приемах, предназначенных для ускорения и уточнения степенного метода. Отметим только, что со всеми этими улучшениями обратный степенной метод со сдвигом зарекомендовал себя как наиболее точный и эффективный метод нахождения одного или нескольких собственных векторов.

Дальнейшее развитие степенного метода. Описанный выше степенной метод позволяет найти один из собственных векторов, принадлежащих максимальному по модулю характеристическому числу. Посмотрим, как его можно видоизменить для получения других собственных векторов.

Пусть Д — симметричная матрица, и один из ее собственных векторов р уже найден и нормирован так, что || р || = 1. Если мы хотим построить последовательность, сходящуюся к другому собственному вектору, естественно выбрать начальный вектор ортогональным р. Однако вектор Xi, получаемый после первой же итерации степенного метода, уже не будет ортогональным р, и мы должны будем его подправить. Это приводит к следующему процессу. Если уже построен вектор хк, то полагаем

Ук+Т^* Ах&, 2к+1=Ук+1—РРТУк+1, O,k+1Xii+i = Zh+i.

Множитель аА+1 выбирается так, чтобы выполнялось условие || Хк+1 11= 1. Как легко видеть, л^-ц ортогонален р, Собрав предыдущие равенства вместе, получаем

ак+1Хт-№—ррт') Ахк,

и, таким образом, построение последовательности равносильно применению степенного метода с матрицей

В = (Е—ррт) А.

Это означает, что последовательность Хк сходится к собственному вектору q матрицы В, соответствующему максимальному по модулю характеристическому числу pi этой матрицы.

Для нахождения щ заметим, что В имеет те же характеристические числа, что и А, но кратность корня Xi уменьшена на 1, а кратность нулевого характеристического числа увеличена на 1 (или

появился корень X = 0, если его не было). Действительно, рассмотрим ортогональную матрицу S, первым столбцом которой является р, и с помощью этой матрицы образуем матрицу В* — = S-1BS. Она может быть записана как [S-1 (Е — ppr)S] [S~MSJ. Сомножители, заключенные в квадратные скобки, имеют соответственно вид

О ... ОО ^-iО ... ОО ^-iИИXi о ... О о :А

О ... О

О ^-i

О ... О

О ^-i

И

И

6

Перемножая эти матрицы, находим

В’ =В’ =О6О6... ОА... ОА

В’ =

В’ =

О

6

О

6

... О

А

... О

А

В матрице В' последние п — 1 строк те же, что и соответствующие строки второго сомножителя. Сравнивая характеристические многочлены матриц А, А и В, мы приходим к требуемому заключению.

Таким образом, gj = 1Ъ если кратность Xt в характеристическом многочлене матрицы А больше единицы, а в противном случае щ равно следующему по величине модуля характеристическому числу матрицы А.

Легко видеть, что вектор q ортогонален р. Действительно,

\i\PTq =ртBq = рт ^Е — ррт) Aq = 0Лд = 0.

Отсюда при .щ Ф 0 получаем pTq = 0.

Докажем, что для симметричной матрицы А вектор q будет также и ее собственным вектором. В самом деле, умножение какого- либо вектора на матрицу Е— ррт превращает этот вектор в его ортогональную проекцию на ортогональное дополнение @^" подпространства, натянутого на р. Поэтому равенство (£ — РРТ) Aq ~ = p,xq означает, что

Aq = pxq-\-ap. (6)

Отсюда следует, что в случае, когда @<f инвариантно относительно А (в частности, для симметричной матрицы) Aq = \xxq, как и требовалось.

Итак, в случае симметричной матрицы последовательность Хь сходится к собственному вектору А, ортогональному р.

Применение степенного метода к матрице В можно упростить, если привести ее к указанному выше виду В', в котором первая строка и первый столбец — нулевые. Любая степень матрицы В’ имеет такой же вид, и потому дело сводится к применению степенного метода к матрице А порядка п — 1. Мы не будем останавливаться на реализации этого метода понижения порядка, а также на других подобных методах, называемых методами исчерпывания.

Пусть теперь матрица Л не симметрична. Действуя, как указано выше, мы можем построить вектор q, но в соотношении (6) число а может оказаться отличным от нуля. Если кратность корня Xi больше 1, то для этого нужно, чтобы вектор р имел первый присоединенный вектор. Действительно, при цг = Хг и а #= О соотношение (6) может быть переписано в виде

(Л-Х1Е')(а-1^')=р.

Нетрудно и построить пример, в котором q оказывается присоединенным к ранее построенному р.•

Если корень Xj не кратный, ц1 ^= X], то по вектору q может быть построен собственный вектор г матрицы Л, принадлежащий характеристическому числу pi. Мы будем искать этот вектор в виде г = q + Рр. Легко проверить, что равенство

^(^ + ₽P) = Pi to + PP)

будет выполнено при Р = а/(ц1 — X]).

Пусть характеристические числа матрицы Л таковы, что | X] ] > >* I Х2 I > I Хэ | ^ .... причем X, и Х2 вещественны. Тогда для отыскания Х2 и соответствующего собственного вектора можно воспользоваться следующим методом. Вспомним, что каждый собственный вектор сопряженного преобразования А* ортогонален всем собственным векторам А, принадлежащим другим собственным значениям. Применяя прямой степенной метод, мы можем найти единичный вектор и, для которого Л ти = Х( я, итр = а =£ О и uTq = *= 0, где р и q — собственные векторы Л, принадлежащие соответственно Xj и Х2. Может быть показано, что процесс, построенный по формулам

^a+i = Ах к, z^i—yk-л— uuTyk+i, a^Xji^i = Zk+i, сходится к собственному вектору, соответствующему Х2. Доказательство незначительно отличается от приведенного выше для симметричной матрицы, и мы предоставим его читателю.

Вернемся к случаю симметричной матрицы А и допустим, что нами построено два ее собственных вектора pW и р^. Третий собственный вектор этой матрицы можно построить аналогично, ортогонализуя на каждой итерации вектор Axh по отношению к pW и р®. Вообще, если построена ортонормированная система из s собственных векторовpW, ..., pw, то следующий вектор может быть построен применением степенного метода к матрице

Е-^рУ^ПА,

что равносильно ортогонализации вектора Ах& по отношению ко всем pW, ..., pW. Таким путем можно найти ортонормированный базис из собственных векторов симметричной матрицы.

Другой близкий к описанному метод отличается тем, что. собственные векторы матрицы вычисляются не последовательно, а одновременно. При этом векторы, которые мы строим на каждой итерации, рассматриваются как столбцы одной матрицы, и таким образом строится последовательность матриц.

Процесс, соответствующий прямому степенному методу без сдвигов, строится по формулам

АРь = V 4+i, V k+i = Р k+iRk+i.(7)

Столбцы матрицы Рк ортонормированы, а матрица R!m выбирается так, чтобы ортонормированы были столбцы Pk+t-

В дальнейшем изложении нам придется опускать все больше подробностей. В частности, мы не будем исследовать сходимость процесса (7).

Таким процессом, в частности, может быть получена пара комплексно сопряженных корней ^ и ^ и соответствующее двумерное инвариантное подпространство, если корни этой пары превосходят по модулю остальные характеристические числа. В этом случае матрицы Р4 состоят из двух столбцов, которые стремятся к векторам ортонормированного базиса в инвариантном подпространстве. Rk — матрицы второго порядка, и их характеристические числа стремятся к комплексно сопряженным характеристическим числам Xi и Xi матрицы А.

Если о характеристических числах матрицы А ничего не известно, то процесс (7) лучше проводить с матрицами Рк, содержащими п ортонормированных столбцов, т. е. с ортогональными матрицами. В этом случае матрицы Рк+1 и Rii+1 могут быть получены (^-разложением матрицы А.

Объединяя формулы (7), мы можем, как и в предыдущих случаях, записать сразу результат Х-й итерации:

АкР о — Р kRkRk-i • • • Ri-

Если начинать процесс с единичной матрицы и ввести обозначение Uк = RkRk-i ••• Ri, то мы получим

Ah = PkUk.

Так как матрица Uk — верхняя треугольная, последняя формула может рассматриваться как ^-разложение Ак.

Этот процесс позволяет найти все характеристические числа и, по крайней мере для симметричной матрицы, собственные векторы, но обычно проводится в другой, гораздо более удобной форме. К ее описанию мы и переходим.

QR-алгоритм. Основой этого алгоритма является следующий процесс. Найдем (^-разложение исходной матрицы. Пусть А = QiRi- Положим Ai = RvQi и найдем для матрицы At ее (^-разложение Ai = Q^R^. Матрицу Аа получим, переставив

сомножители Q2 и R21 и вообще

Ak-i=QkRk, Ak = RkQk.(8)

При этом Rk = Qk'Ak-v, и потому Ак = Q^M^Q*. Отсюда

X6 = Q;V.QfV1Q1...Q6 = Pa-V1P6,(9)

где Рк = Qi ••• Qk- Это показывает, что характеристические числа всех матриц Ак совпадают с характеристическими числами матрицы А.

Если обозначить произведение Rk...Rr через Ukl то А-я степень матрицы А может быть выражена так:

Ak = PkUk.(10)

Действительно,

РhUк = Qi • - • QkRk.. .Ri = Qi -..Qk-iA^R/,^.. .Ri — Pk-iA^U k_v

Но из формулы (9), написанной для А^, следует

- Р k-iAk-i = АРк_ъ

и потому PkUk = APk_xUk_v Формула (10) получается последовательным применением этого результата и устанавливает связь С процессом, описанным в конце предыдущего пункта.

Хотелось бы утверждать, что последовательность матриц Ак сходится к блочно треугольной матрице, но, к сожалению, это не так. Можно доказать лишь, что те элементы Ак, которые лежат ниже диагональных клеток, стремятся к нулю, а элементы этих клеток и вышележащие элементы равномерно ограничены. Последовательность матриц с таким свойством называется сходящейся по форме к блочно треугольной матрице.

По-видимому, пока не существует доказательства этого утверждения, настолько простого, чтобы его можно было здесь воспроизвести.

Для того чтобы подробнее описать «предельную» матрицу Аю, получаемую (^-алгоритмом, предположим, что характеристические числа А пронумерованы в порядке невозрастания модулей:

I Хх | —] ХГ1 [>[ ^ + 1 ] — ...— ] ^fj + rj [>• • .>]^Л — гт [ — |Х„|.

Матрицу Ак можно разбить на клетки, соответствующие группам равных по модулю характеристических чисел. Удается доказать, Что элементы (t, /)-й поддиагональной клетки при i > / стремятся к нулю не медленнее, чем

О ^2(т-1)О ^2(т-1)Хг/ А\^rt / ’Хг/ А\^rt / ’(П)(П)

О ^2(т-1)

О ^2(т-1)

Хг/ А\

^rt / ’

Хг/ А\

^rt / ’

(П)

(П)

где т — максимальная из кратностей корней в минимальном многочлене матрицы А (см. Воеводин [5]).

В «предельной» матрице диагональные клетки соответствуют группам равных по модулю характеристических чисел. При этом характеристические числа клетки совпадают с характеристическими числами матрицы А, принадлежащими соответствующей группе. Например, простой комплексно сопряженной паре X, X соответствует диагональная клетка второго порядка, с характеристическими числами X и X.

Допустим, что матрица А имеет полную систему из собственных векторов и X — матрица, столбцы которой — собственные векторы матрицы А. Обозначим через Q™ ортогональную матрицу, входящую в (^-разложение матрицы X. Тогда может быть доказано, что найдутся такие ортогональные диагональные матрицы Т к, что TkQk-* О,-

Это соотношение особенно существенно в случае симметричной матрицы Л, так как оно позволяет найти ее ортонормированный базис из собственных векторов.

Обычно размеры диагональных клеток предельной матрицы Асо бывают невелики и соответствующие характеристические числа находятся без труда. После того как это сделано, соответствующие собственные векторы находятся обратным степенным методом со сдвигом.

Приведение матрицы к почти треугольной форме. Каждый шаг (^-алгоритма состоит из нахождения (^-разложения матрицы и умножения матриц и требует осуществления значительного числа арифметических операций. Эта работа может быть существенно сокращена, если предварительно подготовить матрицу А, приведя ее к почти треугольной форме.

По определению матрица А с элементами а1к является правой почти треугольной, если ац = 0 при i > / + 1. Таким образом, ниже главной диагонали могут отличаться от нуля только элементы ряда, идущего параллельно диагонали непосредственно рядом с ней. Аналогично определяются левые почти треугольные матрицы.

Предложение 1. Для любой матрицы А может быть построена ортогональная матрица S такая, что матрица S~lAS — правая почти треугольная.

Матрица преобразуется в правую почти треугольную последр- вательными шагами, на каждом из которых приводится к нужному виду один столбец. Пусть за г — 1 шаг она переведена в матрицу Л ^Э, у которой первые г — 1 столбцов соответствуют правой почти треугольной форме. Тогда матрица A(z+1) получается по формуле '

А^ = РгА^Рп

где Рг — матрица отражения (п. 6 § 3). Матрица отражения симметрична и ортогональна; РГ == Pj s РД. Поэтому A(r+1) ш = Р^А^Р,. -

' Опишем выбор матрицы Рг. Если в r-м столбце матрицы А^ последние п — г элементов — нули, то в преобразовании этого столбца необходимости нет, и мы переходим к (г + 1)-му шагу, преобразующему (г + 1)-й столбец. В противном случае строится отражение, которое переводит вектор

М°о. “^iа£Г

в вектор, пропорциональный (г + 1)-му столбцу единичной матрицы. Обратим внимание на то, что этот выбор отличается от сделанного при построении С/?-разложения методом отражений. Там в r-м столбце заменялись на нули не г, аг — 1 первых элементов, и полученный столбец переводился в пропорциональный г-му столбцу единичной матрицы. В результате сейчас будет построена матрица отражения Рг, у которой первые г столбцов и строк совпадают с соответствующими строками и столбцами единичной матрицы.

При умножении А^ слева на Рг первые г строк Л<г) останутся неизменными, не изменятся нулевые элементы столбцов с номерами < г, последние п — (г + 1) элементов r-го столбца обратятся в нуль. При умножении матрицы на Рг справа не изменятся ее первые г столбцов, и потому вид, достигнутый после умножения слева, будет сохранен.

Последним столбцом, нуждающимся в преобразовании, будет (п — 2)-й. Следовательно, после п — 2 шагов матрица А будет переведена в верхнюю почти треугольную матрицу.

Предложение 2. Верхняя почти треугольная форма матрицы не утрачивается при преобразованиях матрицы по QR-алгоритму.

Доказательство. Пусть Л—верхняя почти треугольная матрица. Она может быть преобразована в верхнюю треугольную R умножением слева на матрицы вращений в плоскостях, натянутых на пары базисных векторов с номерами (1, 2), (2, 3), (3, 4), ... .... (и — 1, п). Следовательно, (^-разложение А имеет вид

A = P^...Pn — i, „R,

а матрица Аг равна

A1 = RQ = RPl2...PTn_i.n.

Умножение справа на указанные матрицы вращений может изменить в матрице R только наддиагональные и диагональные клетки второго порядка. При этом треугольная матрица может превратиться только в почти треугольную.

Предложение 3. Симметричность матрицы А не нарушается при применении к ней QR-алгоритма.

Действительно, если А симметрична и А = QR, то Л = АТ = "•= RTQT, откуда RT = QRQ. Теперь, если Аг == RQ, то А{ = ** QT^r = Qtqrq = Лъ что и требовалось. -

Если матрица симметрична и приведена ортогональной матрицей S к почти треугольной форме, то полученная матрица ^‘AS также будет симметричной. Симметричные почти треугольные матрицы называются трехдиагональными. В такой матрице могут быть ненулевыми только элементы главной диагонали и двух параллельных ей рядов непосредственно выше и ниже нее.

QE-алгоритм практически всегда применяется к почти треугольным матрицам, а в симметричном случае — к трехдиагональным.

Отметим, что QE-разложение почти треугольной матрицы выгоднее всего получать методом вращений — как мы видели при доказательстве предложения 2, для этого требуется только п — 1 вращение.

Ускорение сходимости ф/?-алгоритма. Приведенная выше оценка (11) показывает, что скорость сходимости QE-алгоритма в том виде, как он описан, может оказаться очень низкой. Разработаны улучшения этого алгоритма, позволяющие существенно увеличить скорость сходимости.

Понижение порядка. Если в процессе преобразований почти треугольной матрицы по QE-алгоритму один из поддиагональных элементов становится пренебрежимо малым, то после замены его на нуль матрица становится клеточно треугольной с почти треугольными диагональными клетками. Все характеристические числа исходной матрицы будут получены, если мы найдем характеристические числа диагональных клеток. Поэтому с появлением нулевых поддиагональных элементов размеры решаемой задачи снижаются.

Сдвиги. Пусть задана числовая последовательность { р*}, называемая последовательностью сдвигов. QP-алгоритм со сдвигом определяется формулами

А/,-1 — ркЕ = QkRkl Ак = RkQk-VPkE.

Нетрудно доказать, что и в этом случае Ак = РкАРк, где Рк = = Qv..Qk. Таким образом, характеристические числа всех матриц Ак совпадают с характеристическими числами матрицы А.

Может быть также показано, что

PfeUfc = (А — р^)... (А — ркЕ).

Разработан ряд правил для выбора последовательностей сдвигов. Мы не будем их излагать. Отметим только, что наибольшее ускорение дает сдвиг, близкий к характеристическому числу матрицы А. Встречаются случаи, в которых скорость сходимости ненормально мала. Бывают и такие матрицы, которые вообще не меняются при преобразованиях QE-алгоритма (единственная диагональная клетка предельной матрицы совпадает со всей исходной матрицей). В таких ситуациях может помочь практически произвольный сдвиг. ■ ,

Существуют также различные усложнения и модификации Q/^-алгоритма со сдвигом, которые приспособлены к различным частным ситуациям, например к нахождению комплексно сопряженных характеристических чисел вещественной матрицы.

Апостериорные оценки точности вычислений. Если мы вычислили некоторое приближение к решению полной проблемы собственных значений, то в широком классе случаев можем использовать полученный результат для оценки его точности. Мы будем предполагать, что вычисленные характеристические числа X*, ... , X* различны, а вычисленные собственные векторы g*, ..., |л линейно независимы.

Мы можем составить п векторов-невязок

Р; = Ау - ^у.

Обозначив через X и Р матрицы со столбцами g* и р, соответственно, объединим написанную выше систему равенств

AX — XD = P.

Здесь D = diag (X*, ... , X*). Умножая на X-1, получим

X"1AX = DA-X-1P.

Последнее равенство означает, что результатом точного преобразования матрицы А матрицей X будет матрица, отличающаяся от диагональной на добавку V = Х'^Р. Если X* и g* — хорошие приближения, то норма матрицы Р мала. Если || V II также мала, то характеристические числа D + V могут быть оценены по характеристическим числам/), т. е. истинные характеристические числа А оцениваются по их вычисленным приближениям. Эта оценка может быть произведена при помощи построения локализационных кругов (см. § 4 гл. II), если элементы матрицы V вычислены достаточно точно. Для достижения максимальной точности матрица невязок Р вычисляется в режиме накопления скалярного произведения, а решения систем линейных уравнений, с помощью которой находятся столбцы матрицы V, подвергаются итерационному уточнению (п. 3 § 4).

Допустим теперь, что мы вычислили только одно характеристическое число X* и соответствующий собственный вектор g*. Посмотрим, как может быть оценена их точность. Естественно снова начать с невязки

Л|* — X*g* = р.

Не ограничивая общности, можно считать, что || g* ||2 = g*rgx = 1, и переписать предыдущее равенство в виде

(Л — Xif — pg*7") g* = 0.

Это показывает, что X* является собственным значением, a g* —- собственным вектором для возмущенной матрицы А + Н, где Н =

=—pg?r. При этом нетрудно показать, что II/7 II = И р II (ср. стр. 174). Согласно формуле (14) § 2 мы получаем

min|X,--Xn<v(X)|p|.

Эта оценка не слишком полезна. Во-первых, v (Л) нам неизвестно. Мы можем получить для него верхнюю границу, если найдем остальные собственные векторы и число обусловленности составленной из них матрицы. Кроме того, эта оценка может оказаться слишком завышенной, если первое собственное значение матрицы хорошо обусловлено, а кроме него есть еще и плохо обусловленные.

Еще один подход заключается в следующем. Пусть g* и т)? — вычисленные приближения к собственным векторам матриц А и Аг соответственно, причем точные векторы gx и тц принадлежат одному и тому же собственному значению М- Мы будем считать векторы gx и Th нормированными, а разности 6gT = g? —gx и дтц = = г;* — щ принадлежащими соответственно линейным оболочкам векторов g2, ..., g„ и Tj3, ..., щ (ср. стр. 131). В силу этого соглашения TjJ'dg = 0 и 6r)^g = 0. Вычислим выражение

п»гл^ (п»7+б11?г)м + л^1) б^Л-Х^б^

— Д- _|_ е (12) Л$ГS1

Здесь s* = i]?rg1 = Si + б^Г^. Мы видим, что вычисленный коэффициент s* отличается от истинного на величину порядка произведения ошибок. Если этот коэффициент не является слишком малым, вычисленное нами выражение очень мало отличается от истинного собственного значения.

Если матрица А симметричная, то g, и щ можно взять совпадающими, и выражение (12) превращается в отношение Релея для матрицы А. На этом основании рассматриваемое выражение называется обобщенным отношением Релея. Для симметричных матриц расчеты с использованием отношения Релея производятся проще и приводят к хорошим теоретически обоснованным оценкам. В несимметричном случае мы можем сказать только, что если р ^ = —^-Д дает с 1)* и g* малые невязки, то оно — хорошее приближение для Хх, as? — хорошее приближение для 5Х.

Значение р обобщенного отношения Релея может быть использовано не только для оценки погрешности, но и для уточнения результата. Для этого, приняв р за величину сдвига, находят собственный вектор обратным степенным методом.

ГЛАВА IV

ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ

Элементарные свойства

Вводные замечания. В практических задачах часто бывает нужно найти решение, удовлетворяющее большому числу возможно противоречивых требований. Если такая задача сводится к системе линейных уравнений, то система оказывается, вообще говоря, несовместной. В этом случае задача может быть решена только путем выбора некоторого компромисса — все требования могут быть удовлетворены не полностью, а лишь до некоторой степени. Поясним это следующим примером.

Пусть из физических соображений можно считать, что в некоторой области их изменения величины у и х связаны линейной зависимостью вида у = кх + Ь, а коэффициенты должны быть установлены экспериментально. Экспериментальные данные представляют собой т точек на координатной плоскости (хг, ух), .... (хт, ут).

Если эти пары значений действительно связаны искомой зависимостью, то подстановка их в уравнение приводит нас к системе из m линейных уравнений для двух неизвестных к и Ь:

yi = kXi-Vb, t= I, ..., т.

При любых различных хх и Xj пара точек (ху, у.) и (х,, у^ определяет прямую. Но другая пара точек определяет другую прямую, и у нас нет оснований выбрать какую-нибудь одну из всех прямых.

Если экспериментальные данные в достаточной степени заслуживают доверия, то несовместность системы служит основанием для того, чтобы отвергнуть гипотезу о линейной зависимости. Вопрос о совместимости экспериментальных данных с гипотезой линейной зависимости решается статистическим анализом.

Пусть точность исходной информации допускает существование линейной зависимости. В этом случае то, что в действительности нужно, — это найти такую прямую на координатной плоскости, которая, может быть, не проходит ни через одну пару экспериментальных точек, или даже ни через одну из точек, но в каком-то смысле возможно более близко расположена ко всем точкам (рис. 4).

Обычно в этой задаче удаленность точки от прямой измеряют не расстоянием, а разностью ординат yt — kxt — b, и выбирают прямую так, чтобы сумма квадратов всех таких разностей была минимальна. Коэффициенты кй и Ьй уравнения этой прямой дают не-

которое решение стоящей перед нами задачи, которое отнюдь не является решением системы линейных уравнений (вообще не имеющей решений). Можно считать числа к0 и Ьо обобщенным решением системы или, как говорят, псевдорешением. Точное определение этого понятия будет дано ниже.

В § 1 мы ограничимся такими элементарными свойствами псевдорешений и связанных с ними псевдообратных матриц, которые можно без труда вывести, не используя ничего, кроме известных из

общего курса теорем о системах линейных уравнений и об ортогональных дополнениях подпространств в евклидовом пространстве. Таким образом, этот параграф может читаться независимо от предыдущих глав.

Мы будем рассматривать систему линейных уравнений

Ax = b(1)

с матрицей А размеров m X п. Буква г будет обозначать ранг этой матрицы. Никаких условий на т, п и г, вообще говоря, не накладывается. Поскольку х— столбец высоты n, а b—столбец высоты т, для геометрической иллюстрации естественно будет использовать арифметические пространства е%„ и е%т. Под нормой столбца х с элементами х1, .... хп мы будем понимать его евклидову норму, т. е. число

1 х н у^=У7^у+™н^.

Минимизация невязки. Невязкой, которую дает столбец х при подстановке в систему уравнений (1), называется столбец

и — Ь — Ах.

Решение системы это столбец, дающий нулевую невязку.

Если система (1) несовместна, естественно постараться найти столбец х, Который дает невязку с минимальной нормой, и если такой столбец найдется, считать его обобщенным решением системы. Разумеется, если система совместна, ее решение будет также и обобщенным решением.'

Заметим в связи с этим следующее. В гл. III мы уже рассматривали невязки и стремились уменьшать их нормы, но ситуация тогда была другая. Система имела решение, и столбец, дающий малую невязку, рассматривался как приближение к этому решению. Здесь мы не знаем, существует ли решение, и интересуемся столбцом, дающим минимальную невязку. Здесь мы исследуем обобщенные решения теоретически и будем предполагать, что вычисления могут быть проделаны точно. Но практически обобщенное решение, как и любой другой объект, может быть вычислено только приближенно.

Для сравнения невязок воспользуемся евклидовой нормой и, следовательно, будем искать столбец х, для которого минимальна величина

^ = (Ь-Ах)т(Ь-Ах).(2)

Рассматривая элементы столбца х как независимые переменные, найдем полный дифференциал || и II2. Как нетрудно проверить,

d|| и |2 = — dxTAT (b — Ах) — (b — Ах)т A dx.

Так как второе слагаемое, будучи матрицей первого порядка, не меняется при транспонировании, имеем

<Д «||2 = — 2dxTAT (b — Ax).

Поэтому дифференциал равен нулю тогда и только тогда, когда

АтАх = АтЬ.(3)

Эта система линейных уравнений по отношению к системе (1) называется нормальной системой. Она является следствием системы (1), но независимо от совместности системы (1) справедливо

Предложение 1. Нормальная система уравнений обязательно совместна.■

Это предложение является перефразировкой предложения 12 § 1 гл. I. Но непосредственное доказательство на языке матриц несложно, и мы приведем его. Матрица АТА симметрична, и потому транспонированная однородная система для системы (3) имеет вид АтАу = 0. Для любого решения этой системы имеют место равенства, последовательно вытекающие одно из другого:

угАтАу = (А,у)г (Ay) = 0, Л_у = О, уг(АгЬ) = 0.

Последнее из них означает, что для системы (3) выполнено условие теоремы Фредгольма. Это заканчивает доказательство.

Предложение 2. Точная нижняя грань квадрата нормы невязки достигается для всех решений нормальной системы (3) и только для них.•

Доказательство. Написав формулу (2) для столбца х0 + Ах и раскрыв скобки, мы получаем

(б — А (хо + Ах))Т (Ь — А (Хо + Д^)) =

=ЦЬ — Ах0)Г (Ь — Лх0) — 2 ДлДЛ г (б — Лх0) + АхтАтА Ах.

Последнее слагаемое неотрицательно, так как АхтАтААх = >= (ЛАх)г(ЛДх)^0. Если х0 удовлетворяет системе (3), то второе слагаемое равно нулю, и тогда добавление Ах не уменьшает значения функции, каков бы этот столбец Ах ни был.

Обратно, для функции, определенной для всех х, точная нижняя грань может достигаться только в точке локального экстремума, а в таких точках дифференциал равен нулю, и выполнено условие (3). Предложение доказано.

По известной теореме (К., теорема 2 § 5 гл. V) все множество решений нормальной системы может быть описано формулой х = = х0А"2, в которой х0— некоторое фиксированное решение нормальной системы, az — произвольное решение однородной системы ATAz = 0. Как мы видели при доказательстве предложения 1, последняя система эквивалентна системе Az = 0, и мы можем считать, что решение нормальной системы (3) определено с точностью до произвольного решения однородной системы Az = 0. Таким образом, справедливо

Предложение 3. Нормальная система имеет единственное решение тогда и только тогда, когда система Аг = 0 имеет только тривиальное решение, т. е. столбцы матрицы А линейно независимы. В частности, это будет выполнено, если матрица А невырождена.

Если решение нормальной системы не единственно, то возникает задача выбрать какое-то одно из решений, и выбирается решение с минимальной нормой.

Определение. Нормальным псевдорешением системы линейных уравнений называется столбец с минимальной нормой среди всех столбцов, дающих минимальную по норме невязку при подстановке в эту систему.

Поскольку не возникает опасности недоразумения, мы будем называть нормальное псевдорешение просто псевдорешением.

Докажем существование и единственность нормального псевдорешения. С этой целью удобно будет использовать результаты из теории евклидовых пространств, и мы будем рассматривать в пространствах столбцов е^л и е^т скалярное произведение, задаваемое обычной формулой (х, у) = хТу.

Пусть Ж s е^л — множество решений однородной системы Az = 0, а s е^л — множество столбцов вида АТЬ для всевозможных be^m, Условие рее? равносильно совместности системы линейных уравнений Атх= р. С другой стороны, согласно теореме Фредгольма, последняя система совместна тогда и только тогда, когда для каждого z е 9С выполнено zTp = 0. Это означает, что

Напомним, что, каково бы ни было подпространство 56 в евклидовом пространстве, любой вектор х может быть единственным

образом разложен в сумму вида х' + х", где х' е 56, а х* е 56 L. Векторы х' и х" называются ортогональными проекциями х на 56 и на j?1 соответственно.

Обозначим через @/Г множество решений нормальной системы линейных уравнений (3). Мы видели, что столбцы из @^* описываются формулой х = XoA-z, где х0 — некоторый столбец из @^Д a z е 32.

Теорема 1. Каждая система линейных уравнений имеет одно и только одно нормальное псевдорешение.

В силу предложения 2 нам достаточно доказать, что в множестве <^7* всегда существует один и только один столбец с минимальной нормой. Для доказательства разложим произвольный столбец X из s,^ в сумму его ортогональных проекций х^ и Xi на е7 и на 32.

Очевидно, что х0 также принадлежит @^, так как отличается от х на столбец хх s 32.

Если у — еще один столбец из е^, то его ортогональная проекция на s7 также равна х0. Действительно, у = (у — x-f-Xi) + х0, причем (у — x) + ^i г 32, и нам остается сослаться на единственность ортогональных проекций. Итак, для всех векторов из слагаемое х0 одно и то же.

Для произвольного х из е-/-* мы можем написать

II X Р = (Xi + Х0)7 (Х1 + Хо) = II Xi Р + II Хо р,

так как х[хо = О. Отсюда следует, что ||х 11^ II х0 II, причем знак равенства имеет место только при хг = 0, т. е. при х = х0- Это показывает, что • в @/Л" имеется в точности один столбец, норма которого минимальна. Теорема доказана.

Из доказательства теоремы мы узнали, что нормальное псевдо- решепие может быть характеризовано любым из следующих свойств:

Оно является единственным общим вектором, который имеют 97 и ©^1

х0 = 97 И(4)

т. е. оноявляетсяединственным решениемнормальнойсистемы,

имеющимвид.

хй = АТг.(5)

Оноявляетсяортогональной проекциейлюбого решения нор

мальной системы на множество е7 столбцов вида ATZ.

Предложение 4. Пусть хь и хс — нормальные псевдорешения двух систем линейных уравнений Ах = Ь и Ах= с. Тогда рх9 + ухс является нормальным псевдорешением системы Ах = = рд + ус.

Доказательство. Из АТАхь = АТЬ и АтАхе = Атс следует, что Рхе + ухс удовлетворяет нормальной системе: А т А (р хь + ухс) = Л г (Р6 + ус). Далее, существуют столбил ^ь и Zo

такие, чтолг6=- ATzb и xc=ATzc. Поэтому рхг,+ухс=Л7'(Ргг,+угс), что и заканчивает доказательство.

Естественно, предложение 4 может быть распространено на линейные комбинации произвольного числа столбцов.

Рассмотрим несколько очень простых примеров.

Система из двух уравнений с одной неизвестной: х= 1, х = 2.'

Нормальная система уравнений для этой системы есть

В, 1||-|;L=iii, ib|’|,

или 2х = 3. Отсюда следует, что псевдорешение равно 3/2.

Система из одного уравнения с двумя неизвестными: хг + ха = 2.

Нормальной системой уравнений будет система

содержащая то же уравнение, повторенное дважды. Ее общее решение

Псевдорешение будет тем решением, которое получается умножением Дг = ||| на некоторый столбец z высоты m = 1. Легко видеть, что таким решением будет

Система из одного уравнения с одним неизвестным ах = р. Если а ^ 0, то псевдорешение совпадает с решением х = р/а. Если же а =э 0, то любое число х при подстановке дает ту же самую невязку Р о нормой | р |. Из всех чисел мы должны выбрать то, норма которого минимальна, т. е. 0. Итак, псевдорешение уравнения Ох = Р есть 0.

Результат в этом примере такой, какой был бы, если бы мы доопределили функцию / (а) = ^ в нуле числом 0. Здесь видно, что псевдорешение не является непрерывной функцией от элементов матрицы и столбца свободных членов. Этот же недостаток имеет место и в общем случае системы из m уравнений и п неизвестными.

Система линейных уравнений с нулевой матрицей Ох = Ь. Псевдорешение находится так же, как и в примере 3: все векторы дают одну и ту же невязку, равную Ь, и минимальной нормой обладает нулевой вектор, который и будет псевдорешением.

Псевдообратная матрица. Для невырожденной квадратной матрицы А порядка п обратную матрицу можно определить как такую, столбцы которой — решения систем линейных уравнений вида

Ах = еь(6)

где е, — t-й столбец единичной матрицы порядка п. По аналогии с этим мы можем дать следующее

Определение. Псевдообратной матрицей для матрицы А размеров m X и называется матрица А+, столбцы которой — псевдорешения систем линейных уравнений вида (6), где et — столбцы единичной матрицы порядка т.

При этом Л+ состоит из т столбцов высоты п, т. е. имеет те же размеры n X т, что и матрица АТ.

Из теоремы 1 следует, что каждая матрица имеет одну и только одну псевдообратную.

Для невырожденной квадратной матрицы А псевдорешение каждой из систем (6) совпадает с решением, и потому псевдообратная матрица совпадает с обратной.

В другом крайнем частном случае — для нулевой матрицы размеров т X п, — применяя результат примера 4 из конца предыдущего пункта, мы можем заключить, что псевдообратной является пулевая матрица размеров n X т.

Предложение 5. Псевдо решение системы линейных уравнений (1) может быть записано в виде х0 = А*Ь.

Действительно, столбец свободных членов b представляет собой линейную комбинацию столбцов единичной матрицы порядка тх

Ь — pi^i 4- ... 4* Pm^m-

По определению псевдообратной матрицы и согласно предложению 4 псевдорешение хй есть линейная комбинация столбцов псевдообратной матрицы с теми же коэффициентами

Хй = Pl^l 4- • • • + Pm^m-

Это равносильно доказываемому утверждению.

Заметим, что предложение 5 имеет главным образом теоретическое значение, как и правило Крамера для невырожденных матриц. Нахождение псевдообратной матрицы не обязательно для вычисления нормального псевдорешения и требует больших затрат труда.

Напомним, что евклидовой нормой || А ||д матрицы А называется квадратный корень из суммы квадратов ее элементов (ср. § 4 гл. I). Псевдообратная матрица обладает следующим экстремальным свойством.

Предложение 6. Для любой матрицы X размеров n х т выполнено соотношение

При этом, если для какой-нибудь матрицы X, отлична^ от А*) здесь имеет место равенство, то || А+ ||й < || X Не.

Доказательство. По определению при любом / столбец at псевдообратной матрицы дает минимальную невязку при подстановке в систему (6). Поэтому для i-ro столбца матрицы X

|) Аа* — е, В ^ |] Ах, - е, ||.

Если же тут при х,^аТ достигается равенство, то || at II < ||хг|]. Заметим, что квадрат евклидовой нормы матрицы равен сумме квадратов норм ее столбцов. Следовательно, возводя в квадрат и суммируя приведенные соотношения по всем i = 1т, мы придем к доказываемому утверждению.

На основании формулы (5) при любом I = 1, ..., т существует такой столбец 2,, что i-й столбец псевдообратной матрицы имеет вид at — АТ2Ь Следовательно, существует такая квадратная матрица Z порядка т, что

A*=ATZ..(7)

Такой матрицей будет матрица Z = || zx, ..,, zm II, составленная из столбцов zt.

Псевдорешение А^Ь системы Ах = Ь удовлетворяет соответствующей нормальной системе, и потому

АТАА^Ь = АТЪ.

Это равенство имеет место при любом столбце свободных членов Ь, Следовательно, матрицы в левой и правой частях равенства равны между собой. Итак,

АТАА'=АТ.(8)

Иногда бывает полезна формулировка этого результата, сходная с (7): существует квадратная матрица Zx порядка п, для которой

ZXA* = AT.

Предложение 7. Матрица X является псевдообратной для А тогда и только тогда, когда

АТАХ = АТ

и существует квадратная матрица Z такая, что X = ATZ.

Необходимость этих условий показана в формулах (7) и (8). Докажем достаточность. Для этого заметим, что для i-ro столбца единичной матрицы из АГАХ — АТ следует

ATAXei = ATeb

а это означает, что Хе,, т. е. i-й столбец X, удовлетворяет нормальной системе для i-й системы (6), Кроме того, для этого столбца выполнено условие (5) с i-м столбцом матрицы Zx

Хе, = А^еь

Предложение доказано.

Используя предложение 7, нетрудно установить, что для любого числа а, отличного от нуля,

(аА)+ = а-М+.•

Из предложения 7 вытекает и следующее

Предложение 8. Если U — ортогональная матрица порядка т, то'

(UAy = A+UT,а для ортогональной матрицы порядка п(AUy = UTA+.

Докажем первое равенство. Имеем A*UT = ATZUT, согласно (7), для матрицы А. Отсюда А+Пг = ATUTUZUT = (UAy(UZUTY Это означает, что матрица A^U1" получается из ША)Т умножением на квадратную матрицу Zx = UZUT. Далее, в силу равенства (8) для матрицы А имеем

ATUTUAA*UT = ATUT.

Этим первая часть предложения доказана. Вторая часть доказывается аналогично.

Заметим, что предположение об ортогональности матрицы U здесь существенно. Уже для квадратной невырожденной матрицы 5, вообще говоря,

(ЗАД И A+S-1,

как показывает следующий пример. Пусть

Hi 21' и В =

Матрица ВТВ имеет единственный элемент 5, и потому из формулы (8)

12 II

получаем В* =\Н, "5 • С другой стороны, легко видеть, что

2424а+=ц, од и ди-^Цо, 1а+=ц, од и ди-^Цо, 1

24

24

а+=ц, од и ди-^Цо, 1

а+=ц, од и ди-^Цо, 1

Таким образом, известная формула обращения произведения матриц не обобщается на псевдообратные матрицы:

^АВуу=ВА\

Условия, необходимые и достаточные для того, чтобы равенство ^АВу = В^А* все же выполнялось, и выражение для псевдообрат- ной к произведению в общем случае можно найти в книге Алберта [11.

Следующее предложение позволяет найти псевдообратную матрицу в двух важных частных случаях.

Предложение 9. Если столбцы матрицы А линейно независимы, то

А+ = (АТА)~1АТ. (9)

Если строки матрицы А линейно независимы, то

Л+^^ддтул (10)

Докажем первое утверждение. Если столбцы А линейно независимы, то по предложению 3 нормальная система АТАх = АТЬ при любом столбце b имее'т единственное решение. Матрица АТА в этом случае имеет обратную, и решение равно (АтАу1АтЬ. Подставляя вместо b столбцы единичной матрицы порядка т, мы видим,что столбцами А* будут столбцы матрицы из правой части равенства (9).

Если строки матрицы А линейно независимы, то по теореме Кронекера — Капелли система Ах = b совместна при любом b и, следовательно, нормальным псевдорешением будет то ее решение, которое имеет минимальную норму. Таким решением будет решение вида х = Аг2 при некотором 2. Таким образом, нам надо отыскать столбец 2, удовлетворяющий системе линейных уравнений ААТ2 = Ь.

В рассматриваемом случае матрица ААТ имеет обратную, и потому 2 = (ЛЛГ)-1 Ь, а нормальным псевдорешением системы Ах = = Ь является столбец х = Ат (АА^'^Ь. Отсюда, подставляя вместо b столбцы единичной матрицы, приходим к формуле (10).

Вычисление псевдообратной для любой ненулевой матрицы А может быть сведено к двум описанным в предложении 9 случаям с помощью разложения А на множители, называемого скелетным разложением.

Скелетным разложением матрицы А размеров т X п и ранга г> О называется разложение вида А = ВС, где матрицы В и С имеют размеры соответственно т X г и г X п.

Так как ранг произведения не превосходит рангов сомножителей, а ранги В и С не могут быть больше г, то они равны г.

Получить скелетное разложение ненулевой матрицы можно, например, следующим образом. Рассмотрим столбцы матрицы А, в которых расположен ее базисный минор, и составим из них матрицу В. Это — матрица размеров т х г. По известной теореме каждый столбец матрицы А есть линейная комбинация столбцов матрицы В. Коэффициенты этих линейных комбинаций запишем в столбцы и, расположив их в естественном порядке, составим из них матрицу С. В ней будет п столбцов высоты г, т. е. это будет матрица размеров г X п.

Известно, что й-й столбец произведения матриц есть линейная комбинация столбцов первого сомножителя с коэффициентами, равными элементам й-го столбца второго сомножителя. Поэтому А = ВС, и мы получили одно из скелетных разложений матрицы А,

С вычислительной точки зрения этот способ получения скелетного разложения далек от совершенства. Другие способы будут рассмотрены в § 3.

В общем случае формула (ВС)+ = С+В+, как мы видели, неверна. Однако имеет место.

Предложение 10. Если А = ВС — скелетное разложение матрицы А, то ее псевдообратная равна

A+ = CVBV = CT (ССТУ1(ВТВу1ВТ.

' Доказательство. Так как ранги В и С равны г, строки С и столбцы В линейно независимы. В силу предложения 9 С+ = = Ст УХАУ1 и В* = (ВТВУ1ВТ. Проверим для матрицы R = = Ст (ССТУ1 (ВТВ)~1ВГ условие (8). Подставляя АТА =СТВТВС, имеем

СТВТВССТ ХСту1 ^Ву1 Вт = ствт,

что и требовалось.

Условие (7) для матрицы R означает, что существует квадратная матрица Z, для которой R = CTBTZ. Условие будет проверено, если мы докажем существование квадратной матрицы Z порядка т, для которой BTZ = (СС7)'1 (ВТВУ1ВТ. Последнее равенство равносильно системам линейных уравнений вида

BTZi = Si (t = 1, m)

для столбцов матрицы Z, причем в правой части r-й системы стоит i-й столбец матрицы S = (CCTYV ^Вт ВУ^В1. (Нетрудно проверить, что матрица S имеет размеры г X т.) Строки матрицы Вт — столбцы матрицы В — линейно независимы, и потому каждая из систем совместна в силу теоремы Кронекера — Капелли.

Таким образом, оба условия (7) и (8) справедливы для матрицы R, и доказываемое предложение следует из предложения 7.

Предложение 10 позволяет получить некоторые свойства псев- дообратных матриц. Именно, имеет место равенство

^^(А^.(11)

В самом деле, матрицы ВТВ и ССТ симметричны. Симметричны и их обратные. Поэтому, транспонируя выражение для А+, мы находим

(ТУу = В^Ву1 (ССТУ1С.

Но Аг = СГВТ— скелетное разложение для Ат. Применяя его, мы получим для (Аг)+ в точности то же выражение. Приведенное доказательство не проходит для нулевой матрицы, но для нее формула (11) очевидна. Это заканчивает доказательство формулы (11).

Далее, пользуясь тем же предложением 10, находим

А+А = Ст (ССтугС.(12)

.Отсюда, в частности, видно, что матрица А^А симметрична.

Пусть, как и выше, ЭД обозначает множество решений системы Az = 0, a <3 — множество столбцов вида АТЬ при всевозможных Ь. Тогда справедливо

Предложение 11. Для любого столбца х столбец АМх есть ортогональная проекция х на ^.

Доказательство. В случае нулевой матрицы А множество а? состоит только из нуля, и предложение очевидно. Для ненулевой матрицы мы можем воспользоваться формулой (12). Произвольный столбец высоты п представим в виде х0 + хи где х0^е7, a Xl е Ж. Тогда AMxi = 0, так как Axt = 0, и мы имеем, согласно формулам (5) и (12),

АМ (х0 + х^ = АМх0 = AM A Tz = СТ lCCTfv CCTBTz = ATz = х».

Предложение доказано.

Применим формулу (12) к матрице Ат. Мы убедимся, что матрица ^АтуАт симметрична и по формуле (11) найдем

(Лг)+ Ат = ^АтуАтУ = АА*.

Теперь, применяя предложение 11 к матрице АГ, мы получаем Следствие. Для любого столбца у е ^т столбец АА^у есть ортогональная проекция у на подпространство, составленное столбцами вида Az для всевозможных z

Из предложения 11 и следствия из него мы выводим, что матрицы АМ и АА* идемпотентны, т. е.

(АМ)а = АМ,

(АА+)2 = АА\

Каждый столбец матрицы А* является нормальным псевдорешением системы (6) с матрицей А и потому лежит в <=7. Применяя предложение 11, получаем AM at = at для каждого столбца А + и, следовательно,

АМА* = А\(13)

Аналогично, с помощью следствия из предложения 11, можно доказать формулу

ААМ = А.(14)

Используя оценку ранга произведения матриц в равенствах (13) и (14), напишем

Rg А+ = Rg А+АА+^ Rg4 и

RgA = RgAAA+<RgA+.

Отсюда .

RgД = RgA+.(15)

Предложение 12. Псевдообратная матрица А+ и только она удовлетворяет равенствам

АХА^Л, (АХУНАХ й

ХАХ = Х, kXAY =ХА.

Доказательство. Выше мы видели, что для X = А* все эти равенства удовлетворены. Докажем, что они имеют место только для А+.

Транспонируем первое равенство АТ кАХ)т = Ат. Отсюда, согласно второму равенству, имеем АМХ = Ат. С другой стороны, подставляя четвертое равенство в третье, находим

Х = ХАХ = кХАу Х = АТХТХ,

или X = Ат Z, где Z = ХТХ. Теперь доказываемое следует из предложения 7.

Используем полученные нами свойства псевдообратной для получения общего решения нормальной системы.

Предложение 13. Общее решение нормальной системы (3) для системы (1) определяется формулой

х = Л"Ь УкЕ — А+А) с,

где с — произвольный столбец высоты п. В частности, если система (1) совместна, эта формула дает ее общее решение.

Доказательство. Согласно предложению 5 столбец А*Ь — нормальное псевдорешение и, следовательно, является частным решением системы (3). Остается доказать, что столбец z = = (Д — АМ) с при произвольном с — общее решение нормальной однородной системы AMz = 0. Докажем это.

Во-первых, для любого с

АТ Л[(Д - АМ) <?] = Ат Ас - Ат ААМс = Ат Ас - Ат Ас = 0.

Это означает, что z—решение нормальной однородной системы.

Во-вторых, для любого решения z системы ATAz =0 найдется столбец с, при котором

zME — AM)c.

В действительности можно просто положить с = z, так как система АтAz = 0 равносильна системе Az =0, и потому

(Д — AM) z = z — A*Az = z.

Это заканчивает доказательство предложения.

Геометрическую интерпретацию этого результата можно получить, если заметить, что, согласно предложению 11, при любом с столбец (Д — АМ) с есть ортогональная проекция с на подпространство 95 решений системы Az = 0.

Псевдообратное отображение

В этом параграфе мы, в отличие от § 1, будем придерживаться геометрической точки зрения. Здесь будет определено и изучено псевдообратное отображение для линейного отображения А: ^„ -*

£т, где ^„ и С — евклидовы пространства размерностей п и т.

Определение. Отображение А может оказаться не взаимно однозначным по двум причинам: или Кег А ^ о, и тогда найдутся два различных вектора хх и х2 в £„, образы которых совпадают. Или же 1mA не совпадает с %т, и тогда в Ит найдется вектор, не имеющий прообраза. Напомним, что для сопряженного ото- • бражения А*: 8т^- 8п выполнено равенство Im А* = (Кег А)1. Поэтому А взаимно однозначно тогда и только тогда, когда выполнены два условия:

ImA* =^„, ImA=gm.

Мы можем превратить А во взаимно однозначное отображение, если ограничим каждое из пространств. Точнее, имеет место

Предложение 1. Пусть Ао — ограничение А на Im А*. Тогда Ао отображает Im А* на 1mA взаимно однозначно.

Действительно, рассмотрим произвольный вектор у elm А. Он имеет прообраз х в §п. Разложим х в сумму х0 + хь где х0 е е Im A*, а х^ Кег А. Тогда А (х) = А (х0) + A (xj = А (х0). Следовательно, у имеет в качестве прообраза вектор х0 из Im А*.

Покажем, что этот прообраз в Im А* единственный. Действительно, пусть х0, Хо е Im А* и А (х0) = А (хо). Это значит, что х0 — Хо е Im А* и х0 — Хо е Кег А, откуда следует, что х0 — — х^ = о.

Отображение Ао, введенное в предложении 1, как и всякое взаимно однозначное, имеет обратное отображение Ао1, которое определено на подпространстве Im А ^ %т. Мы хотим определить линейное отображение А+: §т^-§л, для которого Ао1 является ограничением на 1mA. Для этого мы введем отображение Р, которое сопоставляет каждому вектору у ортогональную проекцию у на 1mA.

Определение. Отображение Ао‘Р: %т -»■ ёп называется псевдообратным для А и обозначается А+.'

Предложение 2. Каковы бы ни были ортонормированные базисы е в ёп и f в ет> матрица отображения А+ в базисах f и е является псевдообратной для матрицы отображения А в базисах е и f.

Доказательство. Проверим сначала, что отображения А, А* и А+ связаны соотношением

А*АА+ = А*.

Для этого рассмотрим вектор уе£„ и обозначим через у' его ортогональную проекцию на 1mA. Подействовав на у отображением А*АА+, получаем А*ААДР (у) = А*ААД (у') = А* (у').

С другой стороны, у — у'e (Im А)1 = Кег А*, и потому А* (у) = А* (у'). Равенство, таким образом, проверено. Если базисы ортонормированы и отображение А имеет матрицу Л, то Лг—матрица отображения А*. Поэтому матрица отображения А* удовлетворяет условию (8) § 1.

Установим равенство (7) § 1. По определению отображения А* имеем Im А+ £ Im А*. Поэтому для каждого из базисных векторов ft (t = 1, ..., m) найдется вектор z, такой, что А+ (Л) = А* (z^. В координатах это означает, что i-й столбец матрицы отображения А* имеет вид Ат£г при некотором столбце £г. Это равносильно проверяемому равенству.

Мы убедились, что в паре ортонормированных базисов матрица псевдообратного отображения удовлетворяет равенствам (8) и (7) § 1. Для завершения доказательства остается сослаться на предложение 7 § 1.

Заметим, что написанное при доказательстве предложения 2 включение Im А+ £ Im А* вместе с равенством рангов (15) § 1 дает

1шА+=1шА*. (1)

Предложение 2 позволяет переносить результаты о псевдообрат- ных матрицах, полученные в § 1, на псевдообратные отображения. Отметим, например, что

(А+)* = (А*)+. (2)

Но мы не будем систематически этим заниматься. Наша ближайшая задача — упрощение матрицы отображения А+ за счет выбора базисов.

Запись в сингулярных базисах. Для отображения А существуют сингулярные базисы е в §„ и / в ^„ такие, что матрица отображения А в этих базисах имеет вид, указанный в теореме 1 § 1 гл. I:

(3)

В этой матрице отличны от нуля только элементы с равными значениями индексов йц = а, при i ^ г = Rg А.

Матрицы такого вида являются обобщением квадратных диагональных матриц. Прямоугольную матрицу с элементами dy = 0 при i ^ / мы назовем диагональной матрицей.

Ненулевые элементы матрицы (3) — ненулевые сингулярные числа отображения А.

Поскольку сингулярные базисы ортонормированы, псевдообратное отображение А+ в сингулярных базисах отображения А имеет матрицу D+.

Найдем псевдообратную для диагональной матрицы. Для всех ? = I, .... т ее i-й столбец является нормальным псевдорешением системы линейных уравнений DS, = е,-, где е,- — i-й столбец единичной матрицы порядка т. Нормальная система уравнений для этой системы

DTD^ = DTEi

более подробно может быть написана так:

аД/ = аг0 при j=^i, j^r, а^г = аг при is^r, 0'^ = 0 при k>r.

Очевидно, что столбец g будет решением этой системы, если В' = af при i ^ г, а В7 = 0 при / i, /' = г, каковы бы ни были элементы ^, при к > г. Решение будет иметь минимальную норму, если все эти элементы равны нулю, т. е. £А = 0 при k> г. Итак, i-й столбец матрицы D+ равен (0...а7'0...0)7' при i^rnO при i > г. Матрица D+, составленная из этих столбцов, является диагональной матрицей размеров п X in с числами аП, .... а;1 на «диагонали»:

(4)

Перечислим несколько непосредственных следствий полученного нами результата. Так как D+— диагональная матрица, ее псевдообратная строится по тому же правилу, и мы видим, что (РТ = D. Отсюда следует, что для произвольного отображения

(5)(5)(А+)+ = А.

(5)

(5)

Выписывая соответствующее соотношение между матрицами в произвольной паре ортонормированных базисов, получаем следующее свойство операции перехода к псевдообратной матрице:

И+)+=л. (6)

Сравнение матриц D+ и DT показывает, что равенство А+ = А* имеет место тогда и только тогда, когда ненулевые сингулярные числа А равны 1. Это является обобщением свойства ортогонального преобразования, для которого А"1 = А*, и все сингулярные числа равны 1.

Обозначим через е и f соответственно первый и второй сингулярный базисы отображения А. Пусть D —матрица А в базисах

^ и/. Тогда D*—матрица А+ в базисах/ и е, a (D^yD* — матрица отображения (А+)* А+ в базисе /.

Легко видеть, что

(РУ Dt = diag(a73, . .., а;3, 00)

— квадратная диагональная матрица порядка т. Это означает, что второй сингулярный базис / отображения А состоит из собственных векторов отображения (А+)ГА+. Следовательно, он только порядком векторов может отличаться от первого сингулярного базиса отображения А+. (Напомним, что векторы сингулярного базиса упорядочиваются так, чтобы последовательность сингулярных чисел не возрастала.)

Далее, образы векторов базиса / при отображении А+—это векторы, координатные столбцы которых — столбцы матрицы D*. Они получаются умножением некоторых векторов базиса е на множители аН или 0. Базис е—ортонормированный базис в $п, в состав которого входят нормированные ненулевые векторы А+ (/,). Поэтому е не более чем порядком векторов отличается от второго сингулярного базиса отображения А+. Подводя итог, получаем

Предложение 3. Первый и второй сингулярные базисы отображения А+ не больше чем порядком векторов отличаются соответственно от второго и первого сингулярных базисов отображения А. Если ап ..., аг— ненулевые сингулярные числа А, то а;1, ..., ар — ненулевые сингулярные числа АС

Для каждого отображения ядро есть линейная оболочка тех векторов первого сингулярного базиса, которые соответствуют нулевым сингулярным числам. Как для А+, так и для А* — это векторы /г+ь ..., /т. Следовательно,

Кег А+ = Кег А*.(7)

Переход к сингулярным базисам позволяет легко проверять различные тождества, касающиеся псевдообратных матриц. Докажем, например, что имеют место равенства, обобщающие формулы (9) и (10) § 1:

Л+ = (ЛГЛ)+ЛГ(8)

и

А+ = Ат(ААтГ.(9)

Из предложения 2 видно, что равенство (8) равносильно следующему разложению псевдообратного отображения:

А+ = (А*А)+А*.

Это равенство инвариантно, и потому нам достаточно проверить его в какой-нибудь одной паре базисов. Проверим его в сингулярных базисах отображения А.

В этом случае матрица D отображения А имеет вид (3). Применяя формулу (4) к диагональной матрице DTD, мы находим, что

(DrD)+ = diag(ap2a;2, 0, .... 0).

Легко видеть, что произведение (PTDYDT совпадает с D\ Это нам и требовалось. Формула (9) доказывается аналогично.

Псевдообращение при помощи предельного перехода. Обозначим через е%" множество всех линейных отображений §т в $п. Операции сложения и умножения на число в е/^ были введены в основном курсе. Легко видеть, что относительно этих операций е^Т — линейное пространство, и выбор базисов в %т и ^„ устанавливает изоморфизм е%" на пространство ^п,т матриц размеров п X т.

Пусть каждому вещественному числу X из интервала (a, р) сопоставлено отображение В (X) е е^. В этом случае мы будем говорить, что па (a, Р) задана функция со значениями в &%Л (Соответствующие функции для матриц рассматривались в § 4 гл. II.)

Чтобы определить понятие предела для функций со значениями в е^Г, введем в елС норму. Это можно сделать, например, так. Выбрав в §т и ^л ортонормированные базисы, рассмотрим матрицу В отображения В е е%". Ее спектральная норма не меняется при умножении В слева и справа на ортогональные матрицы, т. е. || В || = || UBV II для произвольных ортогональных матриц U и V порядков пит соответственно. Поэтому спектральная норма матрицы отображения В не зависит от выбранной пары ортонор- мированных базисов и может считаться нормой отображения В. Мы будем обозначать ее || В || и дадим следующее определение.

Отображение В называется пределом функции В (X) при X -> ц, если для каждого е > 0 существует число б такое, что из 0 < С I X — ц | < в следует || В (X) — В || < е.

Легко видеть, что для произвольной пары ортонормированных базисов из соотношения

lim В(Х) =В

следует, что аналогичное соотношение имеет место и для матриц р ассматриваемых отобр ажений:

lim В (X) = В.

Вернемся теперь к изучению отображений А: ёп->§т и его псевдообратного и рассмотрим преобразование пространства Йт, определяемое выражением АА* + аЁ, в котором Ё — тождественное преобразование $т. Докажем, что при а>0 это пре-образование имеет обратное. Чтобы не забывать о положительности а, обозначим a = X2 и покажем, что матрица преобразования АА* + Х2Ё в произвольном ортонормированном базисе невы-

рождена. Более того, она положительно определена. Действительно, для любого ненулевого столбца § имеем

ГИ^ + Х2Е) g = (АЧУ (Л т^ + ^т g> о.

Таким образом, для любого числа Х^ 0 определено отображение В (X): 8т 8п по формуле

В(Х) = А*(АА* + Х2Ё)'1.

Аналогично, может быть определено отображение

(А*А + Х2Е)-1А*,причем существование обратного преобразования для преобразо-вания А*А + Х2Е пространства 8П доказывается так же, какобратимость А А* 4- Х2Ё.

Предложение 4. Имеют место соотношения

Иш А* (АА* +Х2Ё)-1 = А+

и

lim(A*A + X2E)-1A* = A+.

Обе формулы доказываются одинаково. Докажем первую из них. Для этого выпишем матрицу отображения, стоящего под знаком предела, в сингулярных базисах отображения А. Если матрица А в этих базисах обозначена через D, то искомая матрица есть DT (DDT+Х2Е)-1. Учитывая вид (3) матрицы D, мы замечаем, что С = (DDT + Х2Е)-1 — диагональная матрица с элементами

(a=_]_X2)-i, .... (а^ + Х2)-1, X-2, ..., X-2 на диагонали.

Матрица DTC есть диагональная матрица таких же размеров п X т, как и DT, и имеет на диагонали г ненулевых элементов

a, (а? + X2)-1, ..., ar (a? + X2)'1

(элементы матрицы С, равные X'2, были умножены на 0). Матрица DTC при X -> 0 стремится в смысле поэлементной сходимости к матрице D*, определяемой формулой (4). К этой же матрице она должна стремиться и относительно спектральной нормы. Отсюда непосредственно вытекает доказываемое соотношение.

Из предложения 4 следуют выражения для псевдообратной матрицы:

ИтДг (АДг +Х2£)-1 = А+,(10)

Нт (Дг А Н-ХХЕ)-1 Дг = Д+.(11)

А-0

Рассмотрим систему линейных уравнений с невырожденной матрицей

(Аг A-V^Ek^ATbA(12)

Обозначим ее решение через ^. Тогда'

^-(ДТД + VE)-1 АТЬ(13)

И формула (И) показывает, что справедливо

Предложение 5. При Х->0 решение ^ системы (12) стремится к нормальному псевдорешению системы А^ = Ь.

Это предложение имеет существенное теоретическое значение. Дело в том, что нормальное псевдорешение системы линейных уравнений не является непрерывной функцией от матрицы системы. Предложение 5 показывает, что система может быть включена в семейство систем с параметром X таким образом, что решение системы непрерывно зависит от параметра. Этот результат получен с более общей точки зрения в теории регуляризующих функционалов для некорректно поставленных задач (см. Тихонов и Арсенин [31]). Упомянутая теория в основном относится к уравнениям в бесконечномерных пространствах (например, к дифференциальным уравнениям с частными производными).

В конечномерном случае прямой необходимости во введении регуляризующих функционалов нет. Однако мы отметим, что для систем линейных алгебраических уравнений роль регуляризующего функционала может играть функция

№ ь, Д) = Р-^Р+%МУ2

на арифметическом пространстве ^п. Найдем значение |, при котором она достигает минимума. Иначе ^ можно записать так: м^ b, AWb-Aty (b-A^H^l.

Дифференцируя это выражение по |, находим

dA& b, A)^-2d^Arb + 2d^ArAl + 2^d^i.

Дифференциал обращается в нуль для столбцов g, удовлетворяющих системе уравнений, в точности совпадающей с (12). Как мы видели выше, детерминант матрицы системы отличен от нуля, и система имеет единственное решение (13) при любых Ь, А и X Ф 0.

Обозначим это решение через 1^ и пусть к (^, Ь, Д) = к Если || £ II > VVk то к (|, Ь, Д) > к Поэтому на сфере радиуса VIA + 1 и вне ее к принимает значения, большие чем к Если ^ не попало внутрь сферы, увеличим ее радиус до || &JI + 1. Так мы получим сферу, содержащую ^. и такую, что на ней и вне нее к (^, Ь, Д)> £. Функция непрерывна и внутри сферы имеет единственную стационарную точку. Поэтому эта точка является точкой минимума. Приведенные рассуждения показывают, что это будет абсолютный минимум.

Предложение 5, по существу, утверждает, что при X -> 0 точка, где регуляризующий функционал достигает минимума, стремится к псевдорешению системы Л| = Ь.

Методы вычисления

Нахождение псевдорешения при помощи сингулярного разложения. Большая часть гл. III была посвящена системам линейных уравнений с квадратными невырожденными матрицами, точнее, таким, матрицы которых не являются почти вырожденными. Однако в реальных задачах невырожденность матрицы, а тем более ее достаточно хорошая обусловленность, как правило, заранее гарантирована быть не может. (Исключение могут представлять собой некоторые системы линейных уравнений с матрицами специального вида). Мы видели, что проверка хорошей обусловленности матрицы— дело не простое, и по затратам времени и усилий сравнима с решением системы.

Поэтому в случае, когда имеется вероятность того, что матрица системы

Ax = b(1)

является почти вырожденной, может оказаться предпочтительнее сразу же искать псевдорешение этой системы. Мы минимизируем норму невязки. Если минимум окажется достаточно малым, мы будем считать, что нашли решение, если же нет, то мы имеем псевдорешение, а решения не существует.

Следует, однако, помнить, что в том случае, когда решение нормальной системы

АтАх = АтЬ,(2)

не единственно, нормальное псевдорешение выделяется из всех решений (2) искусственным требованием минимальности нормы. Поэтому может возникнуть необходимость найти какое-нибудь другое решение нормальной системы.

Значительная часть имеющихся рекомендаций по решению систем линейных уравнений общего вида требует нахождения сингулярного разложения матрицы системы или действий, по существу к этому сводящихся. Если в систему (1) мы вместо матрицы А подставим ее сингулярное разложение, то получим систему

UTDVx = b, или

Dy = b,(3)

где

y = Vx(4)

и

ъ=иь.

Нормальная система (2) аналогично может быть приведена к виду

D2y = Db.(5)

Принимая во внимание вид матрицы D, имеем

Dy = 1 «V/1^г^, 0, ... О ||г,

где aj, ..., аг — ненулевые сингулярные числа матрицы А. Очевидно, что для совместности системы (3) необходимо и достаточно, чтобы

br+1 = ... = bn = Q.

При этом условии столбец

IW1»7vbr, у^, .... у^(6)

является ее решением, каковы бы ни были уг*\ .... уп. Но независимо от совместности системы (3) столбец (6) является общим решением нормальной системы (5). Нормальное псевдорешение — минимальный по норме из столбцов вида (6) — есть

t/o^iap’51, .... a;vbr, 0, .... Of.(7)

Итак, общее решение системы (5) (совпадающее с общим решением системы (3), если последняя совместна) имеет вид

У = Уо + CiSr+i +... + сл_геп —Уо + Е" гс.

Здесь с — произвольный столбец высоты п — г, а Еп~' матрица, составленная из последних п — г столбцов ег+1, ..., еп единичной матрицы порядка п.

Используем формулу (4) для того, чтобы перейти к решению системы (1). Мы можем написать

х = Уту = ¥ту3А-УтЕ^-'с.

Заметим, что умножение на ортогональную матрицу VT не меняет нормы столбца. Поэтому столбец х0 = VTy0 будет иметь минимальную норму и, следовательно, является нормальным псевдорешением системы (1). Кроме того, нетрудно установить, что матрица V'T = VTEn~r состоит из последних п— г столбцов матрицы Vr. Итак, общее решение системы (2) может быть записано формулой

Х = Хо + V'r С,

где хй—нормальное псевдорешение, находимое как Vry0, ас— произвольный столбец высоты п — г.

Таким образом, если известно сингулярное разложение матрицы системы (1), то легко могут быть найдены и нормальное псевдорешение этой системы, и ее общее решение, если она совместна.'

Нужно заметить при этом, что нахождение сингулярного разложения — процесс, значительно более трудоемкий, чем решение

системы, например, путем Q^-разложения матрицы. Получение сингулярного разложения будет рассмотрено в п. 8 настоящего параграфа.

Использование регуляризации. Другой подход к нахождению псевдорешения системы линейных уравнений основывается на регуляризации ее матрицы, или, проще говоря, на использовании предложения 5 § 2. Именно, в качестве приближения к псевдорешению системы (1) берется решение системы линейных уравнений

(ATA^x = ATb(8)

с подходящим значением параметра X. В предложении 5 § 2 мы показали, что при условии точного задания исходной информации и точного выполнения вычислений решение Хх этой системы стремится при X-> 0 к псевдорешению х0 системы (1).

Однако при малых X матрица системы становится, вообще говоря, плохо обусловленной. Поэтому, если исходная информация и вычисления имеют погрешности, вычисленное значение Хх решения Хх может сильно отличаться от Хх-

Исследуем влияние возмущений матрицы А и столбца свободных членов b на решение системы (8). Пусть задана возмущенная система

Ах = Ь,

у которой матрица А и столбец свободных членов b удовлетворяют неравенствам

ЦЛ —А||<6, |^-б|<6(9)

(рассматривается спектральная норма матрицы).

Пусть Хх — решение системы (8), а хк — решение системы

VAT A^VEVx = ATb.

Оценим норму разности Хх — Хх- Из равенства

(Ат А + Х2Д) Хх - (А т А ф- Х2Д) хх = Ат Ъ - А т b .

путем простых преобразований мы получаем

^А1 AWE^xx-xE) = kAT А-Ат А^Хх^гкАт-ATVb-VAT^b-b\ или

Хх - Хх = (Ат А + VEV [(А г А — Аг А) Хх +

+ (А7 -Аг)(б-б) + (Аг - Аг)6 + Аг (&-&)].(10)

Для любого х, по норме равного 1, имеем

хт (Ат А + 7?Е) X = <АхУ Ах + WxT X ^ X2.

Отсюда на основании предложения 2§2 гл. I мы заключаем, что характеристические числа матрицы Ат А + VE не меньше чем X2,

а характеристические числа ее обратной не больше чем X-2. Так как для симметричной матрицы сингулярные числа равны модулям характеристических чисел, наибольшее сингулярное число (Л7 Л + + Х2^)"1 не превосходит X"2. Следовательно,

^л+х^р^х-2.

Для спектральной нормы матрицы Л7Л — Л7Л имеем

I! Л7 Л -Л7 Л КМ7 Л -Л7 Л НМ7 Л- Л7 Л ||^*

< и - ЛI! (I! А т н I! Л 1!) I! А - Л1 (2 j Л ||+|| Л - А ||)6с+62.

Здесь используется тот факт, что спектральная норма не меняется при транспонировании. Это следует из предложений 6 и 14 § 1 гл. I. Заметим, что число с = 2 || А Н определяется только матрицей А.

Используя оценки норм матриц, входящих в равенство (10), мы получаем

|Г ^х — ЛТХ К Х-= [(6с 4-62) il АТХ D+62 + 6 !| ^ II + О л О 6]..

Рассмотрим х0 = А+Ь — псевдорешение системы (1). По предложению 5 § 2 хх —>х0 при Х-> 0. Поэтому при X, близких к нулю, норма хх ограничена. Отсюда следует, что

1!А-хД^-£р(6, X),(11)

где р — ограниченная в окрестности нуля функция, не зависящая от Л и Ь.

Оценим норму разности х0 — хх!

||х0-х?1^”Л^-(Л7Л+Х2£)-1Л7”.||бХ

Для вычисления нормы матрицы В = А*— (АТА + Х^ЕУ^А7 рассмотрим ортогональные матрицы U и V такие, что D = UTAV — диагональная. Заменяя А на UDVT, находим В — V ф+— фг + + X2£)-J£>) (У7, откуда || В || = || D+ — ф2 + Х2^"1/) Ц. Матрица D+ + (О2 + VEY^D диагональная, и ее ненулевые элементы равны ар1 — а,- (а^ + X2)'1, i = 1, .... г. Здесь г = Rg А, а а,- — ненулевые сингулярные числа матрицы А. По теореме 2 § 1 гл. I диагональные элементы матрицы D* — фг + X?EYXD — ее сингулярные числа. Наибольшее из них равно спектральной норме матрицы, и потому

|| А + - (Л 7 А + X2£)-7 Л 7 || = аД - а, (а= + X2)-1 = ^^W *

Итак,

^-^р^^^^™ = ^,(12)

где q — постоянная.

Теперь на основании оценок (11) и (12) мы находим, что

|А-.коМ11А-^Шхх-х0^^р^, хн^ч-(13)

Пусть точность б задания исходных данных фиксирована. Тогда при уменьшении X увеличивается первое слагаемое в оценке (13) и уменьшается второе слагаемое. По-видимому, может быть выбрано некоторое значение X, дающее минимальную оценку для II хх — х01|.■

Формула (12) позволяет провести оценку функции р (б, X). В самом деле, из (12) следует что

II хх || 1 х01| + ^9-

Подставляя это в выражение для р(б, X), находим

р(б, Х)<(с + б)(||х<)|Н-Х27) + (Р11 + МНб)б =

= с' + с"б + q (с + б) Ха,

где с’ и с" — положительные постоянные. Поэтому

Ар (б, х)^А(с'+с"б) + б9(с+б).

Учтем это в оценке (13):

1А — Xq5 ^ -^2 (с' 4*с 6) т 6р(с + 6) + Х2^ = pj + Х2^+?.

Найдем значение X2, при котором правая часть равенства достигает минимума. Дифференцируя по X2, мы получаем уравнение — ■^ + 9 = 0, из которого следует, что искомым значением будет

М = ]/|-/б J А±£1^\(14)

Легко видеть, что при таком выборе X2 норма разности хх— х0 будет величиной порядка V6.

Мы не будем подробно обсуждать формулу (14). Ее значение невелико, так как в ее правую часть входят неизвестные и трудно вычислимые величины || х0 ||, аг и другие. Однако формула (14) позволяет сформулировать следующее

Предложение!. Псевдорешение системы (1) можно найти с погрешностью порядка ]Дб, где б определяет погрешность исходной информации по формулам (9).

Вычисление псевдообратной матрицы. Теперь мы рассмотрим методы практического вычисления псевдообратной матрицы. Все трудности, возникающие при нахождении обратной для невырожденной матрицы, естественно, остаются и тут, но возникает и дополнительное затруднение. В гл. III мы ограничивали класс матриц, полагая, что рассматриваемая матрица не является почти вы-

рожденной, здесь же мы не можем накладывать на матрицу подобных ограничений. В связи с этим возникает задача определения ранга матрицы. Как было отмечено на стр. 119, при учете ошибок округления и погрешностей исходной информации ранг может быть с уверенностью указан не для всех матриц. Вместе с тем результат вычислений очень существенно зависит от того, какое значение приписывается рангу исходной матрицы. Рассмотрим следующий пример.■

Пусть

Л-111 0

у о ю-e г

Тогда

Однако если мы пренебрежем элементом 10 6, то получим матрицу

и ее псевдообратную

далекую от Л-1.

Увеличение точности и выбор более удачных алгоритмов может способствовать сужению класса матриц с неопределенным рангом, но принципиального решения эта проблема не имеет.

В последующем изложении мы будем предполагать, что на основании каких-то соображений, возможно, связанных с постановкой той задачи, которая привела к необходимости вычислять псевдообратную матрицу, мы можем установить ранг заданной нам матрицы.

В большинстве своем методы нахождения псевдообратной для заданной матрицы Л связаны с разложением Л на множители. Предложения 8 и 10 § 1 дают нам два случая, в которых из Л = ВС следует Л+ = С^В*. Эти случаи и используются для вычислений.

Прямое получение скелетного разложения матрицы. Это разложение было определено в п. 3 § 1. Из предложения 10 § 1 мы видели, как оно может быть употреблено для псевдообращения матрицы. Посмотрим, как оно может быть найдено.

Пусть дана матрица Л размеров tn X п. Если установлено, что эта матрица имеет ранг г, то при помощи элементарных операций со строками г ее столбцов могут быть превращены в первые г столбцов единичной матрицы. Пусть номера базисных столбцов Л, •••> 1г- Элементами последних т—г строк, согласно предположению о ранге, мы пренебрегаем.

Обозначим через С матрицу размеров г х п, составленную из первых г строк преобразованной матрицы.

Пусть В — матрица размеров т х г, составленная из столбцов исходной матрицы А с номерами ju .,., jr, т. е. из базисных столбцов. Оказывается, что

' А = ВС,

и это разложение скелетное.

Действительно, базисные столбцы (с номерами j\, .... /г) матрицы С — это столбцы единичной матрицы порядка л Поэтому элементы /-го столбца С — те коэффициенты, с которыми этот столбец раскладывается по базисным столбцам. Но известно, что линейные зависимости между столбцами матрицы сохраняются при элементарных операциях со строками. Следовательно, /-й столбец матрицы А раскладывается по ее базисным столбцам с теми же коэффициентами. Остается напомнить, что /-й столбец произведения ВС есть линейная комбинация столбцов В с коэффициентами, равными элементам /-го столбца С.

Этот путь получения скелетного разложения имеет тот очевидный недостаток, что требует принятия решения относительно малости последних tn — г строк преобразованной матрицы. Кроме того, вычисление псевдообратной матрицы по формуле из предложения 10 § 1 требует выполнения значительного числа арифметических операций, и, по-видимому, не существует возможности использовать полученную при разложении матрицы А преобразующую матрицу. Матрица В, помимо линейной независимости столбцов, никаким специальным строением не обладает. Как использовать специальное строение матрицы С, мы увидим ниже, в п. 7.

QR-разложение для прямоугольных матриц. Напомним, что при построении методом отражений QT^-разложения для квадратной матрицы в § 3 гл. III мы преобразовывали последовательно 1-й, 2-й, 3-й и т. д. столбцы матрицы к виду, соответствующему верхней треугольной форме. Каждое преобразование производилось путем умножения слева на матрицу отражения и не меняло достигнутого вида предыдущих столбцов. Если i-й' столбец матрицы был линейной комбинацией предыдущих столбцов, то после их преобразования элементы z-ro столбца, расположенные на диагонали и ниже, оказывались равными нулю. Такой столбец в преобразовании не нуждался, и соответствующий множитель пропускался.

То обстоятельство, что преобразуемая матрица — квадратная, по существу не играло роли в этом процессе. Преобразуя таким же образом произвольную матрицу А размерами т х п, мы получим разложение

A = QR,

где Q — ортогональная матрица порядка т, a R — матрица размеров т х п, элементы ру которой удовлетворяют условию ру = 0 при t > /. Такое разложение мы назовем Qr-разложением, исполь-

зуя малую букву в напоминание о том, что матрица R, вообще говоря, не является квадратной.

Второе обобщение (^-разложения мы получим, если вспомним получение QR-разложения методом ортогонализации Грама — Шмидта (см. стр. 157). Пусть А —матрица размеров tn х п при условии т> п, и пусть Rg А = п, т. е. столбцы А линейно независимы. Рассматривая эти столбцы как п векторов в т-мерном пространстве, мы можем применить к ним метод ортогонализации и построить такую правую треугольную матрицу U, что столбцы матрицы Q = AU ортогональны и нормированы относительно обычного скалярного произведения в пространстве столбцов. Таким образом, матрица Q размеров т х п может рассматриваться как совокупность п столбцов из некоторой ортогональной матрицы порядка т. Обозначая U"1 через R, мы получаем разложение А = = QR, в котором R — квадратная верхняя треугольная матрица порядка, п, a Q— описанная выше матрица. Такое разложение мы будем называть ^-разложением.

На стр. 157 мы отмечали, что процесс ортогонализации Грама — Шмидта в том виде, как он обычно излагается, не обладает устойчивостью по отношению к ошибкам округления. Ввиду важности ^-разложения для псевдообращения матриц, а процесса ортогонализации для yR-разложения, мы рассмотрим здесь модификацию метода ортогонализации, повышающую его устойчивость.

Метод переортогонализации. Пусть мы должны ортогонали- зовать п столбцов высоты m: йц .... ап (т> п\ Как известно, обычный метод состоит в том, что первый столбец заменяется на <7i = Oi/llaill, где ||*||—евклидова норма. Далее, если уже построены qx, ..., qk, то полагают

О = йк*1 — 5 Ci4ii i = l

где коэффициенты с,- выбираются из условий q^и = 0, . . ., q^u = Q. Эти условия можно записать в виде равенств

У ciq^qi=q^ctk-vi(15)

i=i

для всех / = 1, ..., к. Обозначим через Г матрицу этой системы линейных уравнений, т. е. матрицу с элементами qTjqb Если вычисления выполняются точно, то столбцы qx, ..., qk ортонормиро- ваны, Г — единичная матрица, и cz = qXa^xi откуда

и

и = ак*х- У, lqlak^qbi=i

Затем полагают qkn = и/Н « II и переходят к вычислению q^.

Однако если вычисления выполняются приближенно, Г только близка к Е и Ct = qlak+i уже не является решением системы (15). При этом описанный выше процесс приводит к системе столбцов^, ..., qh, которая с высокой точностью порождает то же подпространство, что и столбцы Sj, ..., ап. Отмечавшаяся выше неустойчивость метода ортогонализации состоит в том, что вычисленные столбцы qt могут оказаться далеко не ортогональными, причем искажающее влияние ошибок округления тем больше, чем ближе столбцы at к линейно зависимым. Чтобы избежать этого, мы должны решить систему (15), не используя ортонормированность вычисленных столбцов qi. В этом случае ошибки, внесенные при вычислении qu ..., qk, не влияют столь существенно на вычисление qk+v Можно воспользоваться методом простой итерации (ср. § 4 гл. III), который здесь быстро сходится, поскольку матрица Г близка к единичной.

Мы опишем здесь способ построения столбца q^, называемый методом переортогонализации.

Пусть столбец и, полученный по формуле (16), не ортогонален qT, .... qk. Мы обозначим его через м(1) и построим столбец и® по формуле

к

— У, ^u^q^

Вообще, может быть построена последовательность и(°1 = = ak+i, uw, и^, ... согласно рекуррентному соотношению

ки^+1} = им — ^ (tf^u^q..(17)

i= 1 Х

Для произвольного члена этой последовательности рассмотрим произведения qju^+1) при произвольном / $с к. Мы имеем

к

qTц(т) дт_ ^ ^тИ^дтд.уt —i

Это означает, что строка

jS^+D =||^ц (■$+!), . . ., ^ц(^+1>1|удовлетворяет соотношению

/?(^1)=/,(^)(£-Г).

Последовательность р^ сходится к нулевой строке и притом очень быстро, так как Г близка к Е. Действительно, из свойств евклидовой нормы следует

1Ри+1) II' IIP^ Н Е - Г h < II а№ М Е - Г fe+

Докажем теперь, что последовательность и^> сходится. Складывая почленно равенства вида (17) для всех s = а, .,., 0, мы

2IS ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ получаем

ц№ = ц№— ^ ^TyfP-D^.^^Tyta)^^(18)

откуда

[и(Р)_и(а)ц^ 2 ^lu^H.-. + qliiW^q.'^

ft 0 — 1

S S ИмиТкЛ .i = 1 s = a

Считая, что Ц^Ц^г, и изменяя порядок суммирования, находим

|И>-п<а)||^2 ^ 1'PU)I’i-s = а

Так как Z-норма Ц#]! не превосходит евклидовой нормы, имеем

S —a"■ ''Е

Теперь нетрудно показать, что по заданному е > 0 можно выбрать номер у так, чтобы || и(р> — и(а> || < е, как только а, р > у. Таким образом, мы видим, что последовательность «(^ удовлетворяет критерию Коши.

Далее, полагая a = 0 в формуле (18), находим, что при некоторых коэффициентах с<Р>

u^=airtl- 2 c^qbi i

Поэтому предел ©последовательности и^ удовлетворяет равенству к

-о = аклг — 2 с^ь

где с.= lim с(А Это показывает, что ©5^0, если только ak+t 1 Р -*оо 1

не является линейной комбинацией столбцов аг, ..., ак.

Как мы видели, р^-* 0 (s-* оо). Поэтому столбец © ортогонален всем qu qk.

Разумеется, практически вместо о берется столбец «W с достаточно большим номером s. Так как || Е — Г ||Е мала, последовательность сходится быстро, и обычно можно ограничиться вычислением и(2).

После того как ненулевой столбец ©, с должной точностью ортогональный столбцам qx, ..., qk, построен, полагают qk+1 =: = ©/|| о || и переходят к вычислению qk+2.

Мы предполагали, что ортогонализуемые столбцы а^ а№ линейно независимы. Освободимся от этого предположения. Пусть столбец ак+1 линейно выражается через ап ..., ак. Тогда соответствующий столбец о окажется нулевым. Он, естественно, не нормируется и не присоединяется к набору построенных ортонорми- рованных столбцов. На следующем шагу столбец ак+г ортогонали- зуется по отношению к имевшимся ранее столбцам дт, .... qk.

Заметим, что в случае, когда ранг матрицы неизвестен, может возникнуть затруднение: мы должны решить, считать ли столбец о нулевым, если его вычисленные элементы малы.

Однако если эта трудность каким-то образом преодолена, мы можем для матрицы А размеров т X п при т > п с помощью процесса ортогонализации построить qR-разложение А = QR, где R — невырожденная верхняя треугольная матрица, а матрица Q такова, что ее ненулевые столбцы ортонормированы. Если т < п, то сохраняются те же рассуждения, только нулевые столбцы в матрице Q появляются обязательно.

Использование ^-разложения. Покажем сначала, что qR-разложение произвольной матрицы А позволяет получить ее скелетное разложение. Для простоты записи будем считать, что в матрице А первые г столбцов базисные. Если это не так, всегда можно переставить столбцы, и, согласно предложению 8 § 1, это вызовет только перестановку строк в матрице А+. Итак, матрица А считается разделенной на клетки

ЛЧЗ, 5||,

причем клетка В размеров т X г имеет ранг г.

Вычисляя <//?-разложение А методом ортогонализации, мы приходим к невырожденной треугольной 'матрице R порядка и такой, что AR = Q, где Q имеет вид

QHQi. о ||,

в котором клетка Qj состоит из г ортонормированных столбцов.

Столбец матрицы R с любым номером / состоит из коэффициентов, с которыми столбец матрицы Q с тем же номером / раскладывается по столбцам матрицы А. При j>r столбец Q нулевой. Поэтому /-й столбец матрицы R при j > г можно взять в виде

Иру-Ргу 0...1...0F,

где ру, ..., ргу — взятые с обратными знаками коэффициенты, с которыми /-й столбец А раскладывается по базисным. Обозначим через R" подматрицу матрицы R, составленную из ее последних п — г столбцов. Из вышесказанного вытекает, что R" имеет вид

р".11 С II■

где U — клетка размеров г X (п — г). Так как AR" = О, имеем В (—U) + S = О, или S = BU. Отсюда А = || В, BU || =

— ВЦ Er, U ||, или

А = ВС,

где С = || Er, U ||. Это разложение, очевидно, скелетное.

Вычисленные нами матрицы R и Q позволяют сразу же найти псевдообратную для первого сомножителя в скелетном разложении. Действительно, рассмотрим подматрицу R't матрицы R, расположенную в первых г строках и первых г столбцах. Легко проверить, что

BRi = Qi, "

где QT — подматрица, составленная из ненулевых столбцов матрицы Q. Это разложение также скелетное. Следовательно, Qf = = (R'l)~iB+ и В+ = /?;<?(. Но столбцы (^ линейно независимы, QfQi = Е, и потому Qt = (QfQi^Qf = Qf- Окончательно

B^R&I.

Для нахождения С+ придется еще раз применить метод ортогонализации и найти такую треугольную невырожденную матрицу Z порядка г, что CTZ = Р, где Р — матрица с ортонормиро- ванными столбцами. Это возможно, так как строки матрицы С линейно независимы. Тогда, по аналогии с рассуждениями, проведенными для В, имеем

CT+ = ZPT

и

С+ = PZT.

Заметим в заключение, что мы пользовались для матриц А и С не (//^-разложением, а результатом ортогонализации их столбцов. Если известно (//^-разложение, полученное как-либо иначе, то потребуется дополнительно только обращение верхней треугольной матрицы, которое не представляет трудностей.

Вторая форма сингулярного разложения. Наиболее эффективным, хотя и сравнительно трудоемким способом решения задач, связанных с нахождением нормального псевдорешения и псевдообращением матриц, является получение сингулярного разложения. В ряде случаев нахождение сингулярного разложения может заменить нахождение псевдообратной матрицы. Сингулярному разложению, введенному в § 1 гл. I, можно придать другую форму, которую мы сейчас и рассмотрим.

Обозначим через Егп матрицу размеров г х п, состоящую из первых г строк единичной матрицы порядка п. Какова бы ни была матрица V, произведение EnV (если оно определено) состоит из первых г строк матрицы V. Если же определено произведение SErn, то оно представляет собой матрицу S, к г столбцам которой приписано справа п — г нулевых столбцов.

Рассмотрим матрицу А размеров т X п и ранга г. Ее сингулярное разложение имеет вид А —- UTDV. Здесь D —диагональная матрица размеров т X п вида

ПА Oil||О О||’

причем Л — квадратная диагональная матрица порядка г. Матрицу D можно представить в виде произведения (E^dE'. Тогда

А = ^ (Е^у AE;V = (E;Uy

Согласно сказанному выше E’nV — матрица, состоящая из первых г строк V, а {ЕгтиУ состоит из первых г столбцов матрицы UT. Обозначим эти матрицы соответственно через Vx и L/f. Строки Vj и Ux (столбцы LEV) ортонормированы. Мы получили разложение

A=UxAVXt(19)

которое назовем второй формой сингулярного разложения.

Во вторую форму сингулярного разложения входят матрицы меньших размеров, чем в первую форму: нет необходимости вычислять и запоминать компоненты тех векторов сингулярных базисов, которые соответствуют нулевым сингулярным числам.

Рассмотрим вкратце интерпретацию разложения (19) в терминах линейных отображений.

Пусть ^п и 8т — евклидовы пространства, а А — линейное отображение §л в 8т. Ортогональное проектирование ^л на Im А* определим как отображение Р: £л->1шА*, сопоставляющее каждому вектору х е$п его ортогональную проекцию на 1mA*. (Напомним, что проектирование не как преобразование пространства, а как отображение его на подпространство рассматривалось нами в п. 4 § 3 гл. II.) Если в ^л и Im А* выбрано по базису, то отображению Р соответствует матрица Р размеров г х п.

Так как (Im А*)1 = Кег А, для любого хЕе„ имеем

А (х) = А - Р (х).

Это легко проверить, записав х в виде х' + х", где х' elm А\ а х" г Кег А.

Рассмотрим ограничение Ао отображения А на подпространстве 1mA*. Согласно предложению 1 § 2 Ао взаимно однозначно отображает Im А* на Im А. Пусть, кроме того, I — отождествление векторов из Im А с теми же векторами, рассматриваемыми как векторы из %т. (Подробнее об этом отображении см. стр. 85.) Теперь отображение А мы можем представить как произведение

(20)(20)А = ЬА0-Р.

(20)

(20)

Матричная запись этого произведения возможна после выбора четырех базисов: базисов в пространствах §л, Im A*, Im А и 8т. Базисы в пространствах §„ и %т будем считать произвольными ортонормированными. Матрица отображения А в этих двух базисах обозначается через А. В качестве базисов в пространствах 1mA* и Im А выберем те векторы соответственно первого и второго сингулярных базисов А, которые соответствуют ненулевым сингулярным числам (таких векторов в каждом базисе ровно по г). В этих базисах отображение Ао имеет матрицу Л — диагональную с ненулевыми сингулярными числами на диагонали.

Очевидно, что при сделанном выборе базисов матрица отображения I имеет ортонормированные столбцы. Переходя в пространстве 8т ко второму сингулярному базису, можно заметить, что при выбранном базисе в Im Л отображение Р имеет матрицу Е'т. Значит, при исходном базисе в %т матрица Р, равная ErmV, имеет ортонормированные строки.

Таким образом, вторая форма сингулярного разложения может быть получена как координатная запись разложения (20).

Замечание. В связи с разложением (20) стоит сказать, что в определении псевдообратного отображения в начале § 2 следовало бы написать в качестве первого множителя отождествление векторов из Im А*. Мы не сделали этого, так как в этом случае, как и обычно, никаких трудностей не возникает, если отождествление просто подразумевать. Однако бывают ситуации (одна из которых нам только что встретилась), когда введение этого «лишнего» множителя проясняет картину.

Наиболее естественный путь построения сингулярного разложения матрицы А состоит в решении полной проблемы собственных значений для матрицы АГА. Однако практически этот путь мало приемлем. Действительно, при построении сингулярного разложения одним из важных вопросов является существование нулевого сингулярного числа и его кратность. Если сингулярные числа отыскивать как квадратные корни из характеристических чисел АГА, то решение этого вопроса затрудняется, поскольку квадраты сингулярных чисел хуже отделены от нуля, чем сами эти числа. Кроме того, при извлечении квадратного корня из близких к нулю чисел относительная погрешность оказывается очень большой.

Если же матрица АТА все же используется, то из сказанного следует, что элементы этой матрицы должны быть вычислены с очень высокой точностью.

Поэтому на практике (ср. Форсайт, Малькольм и Моулер [38] Уилкинсон и Райнш [34]) применяется метод,- который мы опишем для случая m 5 л. (При m < п можно тот же метод применить к транспонированной матрице).

Сначала методом отражений строятся такие ортогональные матрицы U и V, что матрица Д(°> = б/гДУ-является двудиагональ-

ной, т. е. ее элементы а'ц могут быть не равны нулю, только если i = / или i + 1 = /. Приведение к двудиагональному виду ничем не отличается от описанного для квадратных матриц в § 5 гл. III.

Затем матрица Л(о) преобразуется последовательностью ортогональных матриц S^, Р^, 6 = 0, 1, 2... , по формулам

Д(м) = SWA^P^.■

Матрицы Sw, Pw выбираются таким образом, чтобы последовательность Л(6) сходилась к диагональной матрице D. При этом каждая из матриц AW двудиагональная и а!^+1->0 при 6-> оо.

Если А = lim S(6)... № и Р = lim Pw... Pw, то D = SU A VP k СО __/?-*со

и разложение А = (SU)TD (VP)T является сингулярным разложением А.

Рассмотрим теперь матрицы Sw и Pw. Каждая из них находится как произведение матриц плоских вращений:

SW = S2...S„

и

PW = P4...Pn,

причем Si и Pi — вращения в плоскости, натянутой на е1-х и е;. Эти вращения выбираются так, чтобы матрица Bw = AWTAw преобразовывалась в матрицу В(А+1) = pWTgwpw^ которая получается из BW одним шагом QT^-алгоритма со сдвигом. Однако матрицы А,- и Pi могут быть найдены только по элементам матрицы Л(6), а матрица Bw не используется и не вычисляется.

Как и Q/^-алгоритм, этот итерационный процесс быстро сходится и дает точный результат.

Использование сингулярного разложения. Объединив сомножители во второй форме сингулярного разложения

A = Ul (АУ,),

мы получим скелетное разложение матрицы А. Действительно, размеры матриц U{ и AVi соответственно т X г и г х п. Заметив это, мы можем написать А+ = (AV^t/^, и так как столбцы матрицы U{ ортонормированы, Л+ = (АУ1)+(71.

Далее, пусть В = AVi. Это разложение матрицы размеров г х п на множители размеров г х г и г х п полного ранга также является скелетным. Поэтому В+ = У^А'1 = У^А*1, и окончательно мы имеем

Л+ = У^А-1^.

Если получено сингулярное разложение матрицы Л, то по этой формуле псевдообратная к А получается почти без дополнительных

вычислений. Конечно, получение сингулярного разложения более трудоемко, чем, например, получение ^-разложения, но с вычислительной точки зрения оно обладает существенными достоинствами. Именно, уже не раз говорилось, что наиболее трудная проблема при псевдообращении матриц — это определение ранга матрицы. При применении сингулярного разложения эта проблема не возникает.

Возникает гораздо более простой вопрос — решить, являются ли пренебрежимо малыми отдельные числа. Именно, какие из вычисленных сингулярных чисел в действительности являются нулевыми.

Для каждой конкретной задачи, учитывая оценку погрешности исходной информации и оценку ошибок округления, внесенных при вычислении сингулярных чисел, устанавливают некоторое число в в качестве границы: если вычисленное значение сингулярного числа меньше 8, то это сингулярное число считается нулевым.

Таким образом, размеры матриц в вычисленном разложении (19) зависят от величины е. Это вычисленное разложение является точным разложением другой матрицы ЛЕ. Ранг Ле зависит от е, причем RgЛ£^ssRgЛ, а спектральное число обусловленности удовлетворяет неравенству

с(ЛЕ)^^^с(Л),

где 04— наибольшее сингулярное число матрицы Л.

Мы видим, что матрица ЛЕ, вообще говоря, лучше обусловлена, чем Л, но часть информации, содержащейся в Л, может оказаться потерянной. Если мы признали нулевым некоторое сингулярное число, истинное значение которого положительно, мы фактически признали некоторую строку Л линейно зависимой от остальных. Итак, сделав е больше минимального сингулярного числа Л, мы выберем из Л наиболее достоверную информацию, которой, естественно, меньше. Одновременно, увеличение е способствует более компактной записи и, следовательно, экономии памяти.

Можно использовать этот эффект для выделения наиболее существенной части данных, записанных в матрице. Для этого е задают настолько большим, чтобы получить матрицу ЛЕ приемлемого ранга, именно, достаточно малого, чтобы данные были обозримы, й достаточно большого, чтобы они представляли интерес.

Метод Гревиля. Совсем другой подход к нахождению псев- дообратной матрицы основывается на следующем построении.

Пусть матрица Лх получается из матрицы Л дописыванием справа столбца а:

|

ац ... бы «1

■

^ml ••• °тп ^т

Допустим сначала, что ЛЛ+а^а, и рассмотрим столбец

'е_ (Е — АА+)а

Р ^(£■-ЛЛ+)аia,'

где II * [| обозначает евклидову норму.

Предложение 2. Если ЛЛ+ссУ= а, то матрица Л* получается из матрицы Л+ (Е — сф7) дописыванием снизу строки р7, т. е. имеет вид

I Л+(С —оф7) II

I 1г(

Доказательство проще всего получить, проверяя для матрицы (22) условия предложения 12 § 1. Обозначив ее через X, найдем

= А А+ (Е - «р7) 4-сф7 = д а+ + (Е - АА+) ар7,

Обозначим для краткости знаменатель выражения (21) через К. Т огда

AtX = АА + + (Е- AA^aa? (Е-ААу V1.

Отсюда видно, что матрица АгХ симметрична.

Рассмотрим теперь произведение А1ХА1. Имеем

АгХА^А^И, «НШ АгХсЦ.

Вычислим матрицу AjXA, Она равна

АА+АА-Х-ЦЕ- ЛЛ+)аа7 (Е — АА+)А,

поскольку Е — А А' симметрична, так же как и АА\

Первое слагаемое равно А. Раскроем скобки во втором слагаемом!.

(£-ЛЛ+)аа7 (Е-АА+)А =

= аат А — ДА^аоЕ А—аат АА+А А-АА+ааг АА4А

и увидим, что оно равно нулю согласно тому же тождеству АА+А =А* Вычислим теперь столбец Л^а. Он равен

ЛЛ+а + Х-^^-ЛЛ+)аа7 (Е-АА+)а.(23)

Чтобы упростить это выражение, найдем X:

Х = а7 (Е-АА+)(Е-АА4)а = сЕ (Е-2ЛЛ" + (ЛЛ')2)« = = а7 (Е~АА+)а.

Произведя сокращение в выражении (23), имеем

АгХа = ЛЛ+«+ (Е — ЛЛ+)а = а,

Итак Aj.XAj.esiА, а[ = Л1, как и требовалось.

Далее, можно проверить, что матрица ХАг имеет следующее клеточное строение (с клетками размеров п X п, n X 1, 1 X п и 1 X 1):

ХЛ^Р^Т^(24)

| Рг407«

Подсчет, аналогичный приведенному выше, показывает, что

*М7 ?!■

и мы видим, что эта матрица симметрична. Кроме того, умножая эту матрицу на X, мы сразу получаем ХАгХ = X. Предложение доказано.

Рассмотрим теперь случай, когда АА+а = ос. Положим

(25)(25)Л+гЛ+м

(25)

(25)

Y~l + ,1'а -

и докажем

Предложение 3. Если АА+а = ос, то матрица At получается из матрицы Л+ (£ — осу7) дописыванием снизу строки у7, т. е. равна

(26)(26)I Л+ (£ —ау7 )

(26)

(26)

Доказательство, как и для предыдущего предложения, состоит в проверке условий предложения 12 § 1. Обозначим матрицу (26) через X и вычислим АхХ".

Л1Х = р, сс||р+(£ТатГ)II VЛ1Х = р, сс||р+(£ТатГ)II V= Л Л + (£ — осу7) + осу7 = Л Л+= Л Л + (£ — осу7) + осу7 = Л Л+

Л1Х = р, сс||р+(£ТатГ)II V

Л1Х = р, сс||р+(£ТатГ)II V

= Л Л + (£ — осу7) + осу7 = Л Л+

= Л Л + (£ — осу7) + осу7 = Л Л+

в силу условия ЛЛ+ос = ос. Таким образом, матрица АхХ симметрична. Аналогично, независимо от вида у, имеем

А1ХА1=АА'-А1 = \АА+А1 ЛЛ+а'Н|Л, «1 = 4

Вычислим матрицу ХАг. Она имеет вид (24), только вместо 0 в нее входит у. Преобразуем выражения для клеток этой матрицы:

Л+ (£ — осу7) Л = АМ - Л оса7 Л+7 Л+Л V1, где

Х=1 + |Л+а|)2.

Но AtJAM — А+Т в силу тождества (8) § 1. Поэтому

Л+ (£ - осу7) Л = АМ - (Л+а) (а7 Л+7) V1 - АМ - X-1 (Л+сс) (Л W. Отсюда следует, что левая верхняя клетка симметрична. Далее, в силу того же тождества

у7 Л = а7 Л+7 АМХ-1 = Х-’а7 А+г.

Кроме того

Л^ (£ - аут) а = Л+а - VM+aar AVT Л ^а =

= V1 (Л+аХ - А*аат А*т Д+а) = X-1 [ Л+а (1 + ат А*т Л+а) -

.- A vaaJ Л+г Л+а] = X'1 Л ^а.

Это показывает, что клетка-строка получается транспонированием из клетки-столбца.

Теперь видно, что матрица ХАг симметрична. Рассмотрим произведение XALX. Если Zb i = 1, 2, 3, 4, обозначают клетки матрицы ХАЪ то

УД v_llzi ^2II 1.4 ■’"(£ —ay7")IZ1A+(E —ауг) +2/^ II

zJr I vr ’ |Z3^(£_avr)+Z4/||-

Подставляя вместо Zt их выражения через Л, а и у, находим ZXA* (Е — а';т) + Z^T =

= Л+(£ —ay7 ) АА+ (£ —ay7-) + ^+(£ — ay7') ay7".

Раскроем скобки и учтем, что АА+а = а и

уг А Л+ - Х-^ А+т А+Л А* = Х-1^ А*т Л+ = уг.

Тогда преобразуемое выражение превратится в

Л+ - А*а^ = Л + (£ - ayr).

Далее,.

Z^A* (£ — ayг) 4- Z^T =

= yrАА* (Е — ay7')4-y7'ayr = уг (£ — ay7') + yrayr = уг.

Таким образом, мы проверили, что ХАхХ = X, и закончили доказательство.

Предложения 2 и 3 можно использовать для построения псевдо- обратной для данной матрицы А. Для этого рассматривают п матриц Аг, ..., А„, где матрица Л, (/ = 1, ..., п) состоит из t первых столбцов матрицы А. Так как At состоит из одного столбца, Л}" находится без затруднения. Затем последовательно вычисляются Д^, Ла, ..., пока не будет получена Ah = Д+.

Особенно этот способ удобен, если о течением времени данные пополняются, и расчеты, ранее проведенные о матрицей Л,, нужно повторить с матрицей А^, полученной из At добавлением столбца. Если добавляются строки, то тот же метод применяется к транспонированной матрице.

Следует отметить, что затруднения, связанные с необходимостью одновременно о псевдообращением определять ранг матрицы, остаются и при применении рассматриваемого метода. Они появляются в тот момент, когда мы должны выяснить, выполнено ли равенство ЛЛ+а = а, и в зависимости от этого выбрать нужную формулу.

Существуют и другие результаты, касающиеся связи псевдообращения и разделения матрицы на клетки, но они еще более громоздки (см. Алберт [1]).■

§ 4. Метод наименьших квадратов

Задача приближения функции. Этот параграф посвящен приложениям полученных ранее результатов о псевдорешениях и псев- дообратных матрицах.

Системы из большого числа линейных уравнений со сравнительно небольшим числом неизвестных возникают в следующей практически важной задаче, частный случай которой рассматривался во введении к § 1.

Пусть экспериментально исследуется зависимость между двумя переменными величинами £ и ц и результат эксперимента представляет собой т пар соответствующих друг другу значений

(^, П1)(^ if).0)

Нужно найти функцию ц = / (g), которая как можно лучше представляла бы реальную зависимость между переменными величинами. Функцию / ищут в виде линейной комбинации заранее заданных функций

ЧЧгё), ....(2)

называемых базисными функциями.

Эти функции выбирают, исходя из природы рассматриваемой задачи. Так, если имеются основания предполагать, что исследуемая зависимость периодическая с известным периодом, то в качестве базисных могут быть выбраны тригонометрические функции. В этом случае искомая линейная комбинация выглядит как частичная сумма ряда Фурье. Часто используются степенные базисные функции ®* (£ = 0, ..., п — 1) или другие многочлены. При таком выборе функция / будет многочленом.

Экспериментальные данные (1) содержат ошибки измерения и в зависимости от постановки задачи, возможно, другие случайные отклонения. Поэтому не требуется, чтобы равенства

ч{-Ш 1=1, ..., т,(3)

выполнялись, т. е. чтобы график функции / проходил через все точки (1) на координатной плоскости. Требуется только, чтобы график проходил в некотором смысле возможно ближе ко всем этим точкам. Обычное требование состоит в том, чтобы сумма квадратов

W-fOT + .-.+ tTf-^”*))2(4)

была. минимальной. Если функция / выбрана таким образом, то говорится, что она выбрана методом наименьших квадратов.

. Подчеркнем отличие рассматриваемой постановки задачи от задачи об интерполяции. В последней ищется функция заданного вида, принимающая в указанных точках заданные значения. В нашем же случае предполагается, что пары чисел лишь приближенно соответствуют реально существующей зависимости, и отыскивается функция заданного вида, лучше всего соответствующая экспериментальным данным. При этом не ожидается, что полученная функция точно представляет реальную зависимость между переменными — она должна лишь аппроксимировать эту зависимость. В соответствии с этим в корректно поставленной задаче об интерполяции число точек равно числу базисных функций, а в методе наименьших квадратов точек, как правило, значительно больше.

Если f — линейная комбинация базисных функций

/^) = е1ф1(Ю + ...+бл<Рл№),

то равенства (3) представляют собой систему линейных уравнений относительно коэффициентов б1, ..., 6”:

ОцбЧ*.. . + йтп^” = Т}Г, (5) ami^Jr... + amn8n = 4m1

коэффициенты которой — значения базисных функций в точках I1, .... £т, т. е. ау = ф/ (^')- Матрицу системы обозначим буквой А.

Невязка, даваемая конкретным набором коэффициентов б1,..., Q" при подстановке в эту систему, имеет компоненты

л1-/^1)Г-т.

и квадрат ее нормы имеет вид (4). Поэтому любой набор коэффициентов, минимизирующий сумму квадратов (4), удовлетворяет нормальной системе для системы (5).

Однако важно подчеркнуть, что по отношению к той реальной зависимости между переменными, которую мы исследуем, решение нормальной системы представляет собой лишь приближение к истинному набору параметров, или, как говорят, оценку истинного набора параметров.

Если столбцы матрицы А системы (5) линейно независимы, то нормальная система имеет единственное решение, которое является псевдорешением системы (5). В соответствии с этим и стоящая перед нами задача также имеет единственное решение.

Посмотрим, в какой мере можно ожидать линейной независимости столбцов матрицы. Мы выбираем базисные функции так, как это нам нужно, и потому естественно потребовать, чтобы базисные функции были линейно независимы. Напомним, что функции Ф1 (Ю> •••, Ф« (ъ) называются линейно зависимыми на заданном интервале, если на этом интервале тождественно равна нулю некоторая их нетривиальная линейная комбинация с постоянными коэффи-

циентами. Если базисные функции линейно зависимы на интервале, содержащем все точки ^, ..., gm, то, разумеется, будут линейно зависимы и столбцы матрицы. В этом случае выбор в качестве коэффициентов б1, .... 6" нормального псевдорешения системы (5) будет только одним из возможных.

Легко видеть, что линейная независимость базисных функций не гарантирует линейной независимости столбцов матрицы. Например, матрица из значений функций ф, (g) =; 1 и ф2 (g) = (£)2 в точках ^ = 1 и g2 =; —1 есть

111 ill

Однако если базисные функции линейно независимы, то при условии приближенной записи чисел точная линейная зависимость между столбцами — явление исключительное. Столбцы матрицы могут оказаться близкими к линейно зависимым, а матрица А — близкой к матрице неполного ранга. При этом, как мы видели, нормальное псевдорешение сильно меняется при небольших изменениях исходных данных.

Поэтому в любом случае расчеты должны быть построены так, чтобы мы могли обнаружить численную неустойчивость или неединственность решения, когда они имеют место. Это удобно может быть сделано, если для нахождения псевдорешения воспользоваться сингулярным разложением матрицы системы. Как было описано в п. 9 § 3, можно ввести границу е, зависящую от точности производимых вычислений, и пренебрегать теми сингулярными числами матрицы, которые меньше е.

Оценим увеличение суммы квадратов (4), которое возникнет, если мы пренебрежем сингулярными числами, меньшими е. Очевидно, во-первых, что любое решение Р1, ..., Рл нормальной однородной системы ЛгЛр = О можно прибавить к коэффициентам 6К .... 6”, не изменив суммы (4) (см. предложение 2 § 1).

Решения нормальной однородной системы образуют в пространстве столбцов высоты и подпространство, которое мы обозначали буквой <%" (оно совпадает с множеством решений системы Лр = 0). Заменив нулями сингулярные числа, меньшие е, мы фактически присоединяем к этому подпространству такие столбцы р,, для которых ■

ЛгЛр/ = а(Рь а,<е. (6)

При этом можно считать, что i = к, .... г.

Предложение 1. Если к решению 6 нормальной системы прибавить произвольную линейную комбинацию у = уАрА + ... + угРг столбцов р,-, удовлетворяющих условиям (6), то сумма квадратов (4), соответствующая решению в, увеличится не больше чем на е2 II у II2. -

Доказательство. Сумма квадратов, которую мы должны оценить, есть квадрат нормы невязки, даваемой столбцом 6 4- V»

т. е.

h _ Л (8 + у) цз = [(1] _ Л9) _ л у]т [(1] _ Л6) _ Л?].

Раскрывая скобки, имеем

||л_Л(О + ?)|р = ||11-Л0р + 2уг (X^XO-X^ + iXyH2.

Учитывая, что 6 — решение нормальной системы, находим, что сумма квадратов возрастет на || Лу ||2. Оценим эту величину.

Согласно соотношениям (6) имеем

|Лу5Р = у^Л^Лу=у^ (у^Л^ + .-. + УгЛ^Л^)-

= Yr (Y*“l Pt +... + уХРЛ ^ eV V$h +... + yrpr) = e2 J у j2.

Предложение доказано.

Даваемая предложением 1 возможность просто оценить увеличение суммы квадратов — важное достоинство метода нахождения псевдорешения с помощью сингулярного разложения.

Линейная регрессия. Рассмотренная выше задача об оценке параметров функции / по приближенным измерениям ее значений является частным случаем более общей задачи, рассматриваемой в математической статистике. Пусть у — случайная величина *) и ее математическое ожидание М (у) линейно зависит от п переменных ал, ..., ап:

M(z/) = 91tii + ... + 6nan,(7)

с коэффициентами 0‘, подлежащими оценке по наблюдаемым значениям у.

Переменным а, придается т серий значений, составляющих матрицу Л размеров т X п:

а\, ..., а„,

(8)

а'"а™.

При этом значения а1. рассматриваются как достоверно известные.

Матрица А называется матрицей регрессии, а переменные а( — регрессорами. Регрессорами могут быть функции от одной переменной или функции от нескольких переменных, можно также считать все aj независимыми переменными.

Линейной независимости столбцов матрицы регрессии мы требовать не будем.

Ч Для чтения этого пункта необходимо знакомство с основными понятиями теории вероятностей, например, по книге Розанова [28].

При каждом из наборов значений (8) величина у принимает некоторое значение. Обозначив эти значения т]1iim, запишем

г]1 = а|61 + ... + а^6', + е1,

т)т = а^б1 +... +а^б'1 + ет, или в матричной форме

т] = Лб + е.(9)

Согласно (7) случайные величины е‘ имеют нулевое математическое ожидание. Их называют ошибками, хотя в действительности они могут быть естественными отклонениями значений величины от ее математического ожидания и не обязательно вызваны ошибками измерения у.

Если е' являются ошибками измерения, то естественно предполагать, что они не коррелированы между собой и имеют одинаковые дисперсии. В дальнейшем мы для простоты введем это предложение.

По отношению к системе линейных уравнений т] = Л0 столбец е является невязкой, даваемой истинным набором параметров 0 = = II 61, .... б" II. а

Псевдорешение б этой системы называется оценкой для истинного набора 0, полученной по методу наименьших квадратов. Оно равно б=Л+т).(Ю)

Такие оценки, которые, подобно б, линейно выражаются через 1], называются линейными оценками.

Естественно, что оценка, зависящая от случайного набора значений т], сама является случайной величиной. Оценка называется несмешанной, если ее математическое ожидание совпадает с истинным набором параметров 0.

Предложение 2. Если столбцы матрицы регрессии линейно независимы, то оценка 0, полученная по методу наименьших квадратов, является несмещенной.

Действительно, из простейших свойств математического ожидания следует, что

М (0) = Л+М (п) = Л+Л0,(И)

а при сделанном предположении относительно Л это равносильно требуемому равенству

М(0)=О.

В общем случае формула (П) позволяет утверждать несмещенность только некоторых проекций 0. Именно, матрица Л+Л идемпотента, т. е. (Л+Л)2 = Л+Л, и потому из (11) следует

М(Л+Л0] = Л+Л0,.

Согласно предложению 11 § 1 Д+Л9 есть ортогональная проекция 6 на подпространство е? в ^п. Это подпространство составлено из столбцов вида А т<о при всевозможных у. Итак, если р Е е7, то А+Ар = р и ртА+А = рт. Поэтому для всех ре<3 имеем

М(ргв) = ртв, и справедливо

Предложение 3. Если набор коэффициентовр принадлежит е7, т. е. рТА+А = рт, то рт9 является несмещенной оценкой для ртВ.

Линейные функции на е%т, рассматриваемом как множество всевозможных значений параметров, называются параметрическими функциями. Предложение 3, по существу, относится к оценке значения параметрической функции рт9 на истинном наборе параметров 6.

Выше линейной оценкой для истинного набора параметров была названа оценка, линейно зависящая от т), т. е. линейная функция на ^т. Рассмотрим те линейные функции на d7?m, которые могут быть несмещенными линейными оценками для параметрических функций. '

По определению функция *oTtll где £ е е^т, порождается параметрической функцией ф (6) = рт9, если для всех в выполнено

-»тАб=рт6,(12)

что равносильно

утА=рт, или

Дту=р.(13)

Таким образом, параметрическая функция порождает функцию на е%т тогда и только тогда, когда р е^. Однако при этом условии порождаемая функция, вообще говоря, не единственна. Действительно, общее решение системы уравнений (13) есть

Тс = (АтурА-(Ет-(.АтуАТ)с = (.А^р + (Ет-АА^с,где с— произвольный столбец высоты т (см. предложение 13 § 1).

Пусть / (£) = ®rg — линейная функция на е^т, порождаемая некоторой параметрической функцией. Найдем математическое ожидание и дисперсию значения / на столбце 1], удовлетворяющем (9). При этом будем предполагать, что ошибки е‘ не коррелированы и имеют равные дисперсии D (е‘) = о2.

Для математического ожидания имеем.

М (®т т]) = М (г^Лб-]-®7^) = т)ТА9=рТ9. '(14)

Итак, М (®г11) равно значению порождающей функции на истинном наборе параметров, В этом смысле ®Tq является несмещенной

оценкой для ртв. Применяя этот результат, находим

D (о7 tj) = М (®7 т] -р7 6)2 = М (®7 (7] - Л 6))2 = М (®7 в)2.

Далее, используем равенство ®г8 = 87®, верное для любых столбцов:

М (®78)2 = М (®7 (ев7)®) = ®7М (ее7)® = ®7о2£т® = о2||® ||2.

Итак,

D (®7 т]) = о21| ® ||2.(15)

Отсюда следует, в частности, что, выбрав решение системы (13), имеющее минимальную норму, мы выберем из всех функций, порождаемых данной параметрической функцией, ту, для которой дисперсия D(®7t]) минимальна. Система (13) предполагается совместной. Она имеет единственное решение с минимальной нормой, а именно, псевдорешение.

®0 = (Л7)+р.

Значение функции со строкой коэффициентов ®7 на векторе tj, согласно (10), есть

®еЧ=РТА*ч=рт6,

т. е. значение порождающей функции на оценке 6, полученной методом наименьших квадратов. Отсюда следует

Теорема 1. Если параметрическая функция рт6 допускает несмещенную оценку вида ®7т], то из всех таких оценок минимальную дисперсию имеет оценка ®7т] = рТ6, получаемая по методу наименьших квадратов.

В частности, если столбцы матрицы Л линейно независимы, то е7 = s^m, и все параметрические функции допускают оценку. Допускают оценку и функции е^, где ei — строка единичной матрицы. Эти функции равны б', и их несмещенными оценками с минимальной дисперсией будут компоненты 6‘, полученные методом наименьших квадратов.

Доказанная нами теорема показывает, почему, собственно, нужно минимизировать сумму квадратов, т. е. использовать евклидову норму, а не, допустим, сумму модулей. Стоит заметить, что преимущества метода наименьших квадратов выяснились не сразу. Так, Лаплас вначале применял требование минимизации S I 6< I-

Пусть § — «случайный вектор», т. е. столбец, составленный из т случайных величин £*,.... Vх. Его математическое ожидание — столбец а с элементами а* = М (£')• Матрицей ковариаций | называется матрица

D(|) = M[(£-a)(|-a)7].

Ее диагональные элементы — дисперсии соответствующих величин £', а недиагональные — ковариации cov (В‘, В7).

Посмотрим, как можно оценить матрицу ковариаций оценки 9, полученной по методу наименьших квадратов, если предполагать, что ошибки в' не коррелированы и имеют одинаковые дисперсии, равные о. Это означает, что

D (8) = а2Ет.

Из D (i]) == D (г, — ЛО) = D (е) имеем также

0(л) = о2Ет.(16)

Нетрудно проверить, что для любого случайного вектора g и для любой постоянной матрицы S из 1 = Sg' следует М (1) = SM (!') и

D(1) = SD (Г)5Г.

Отсюда в силу (10) следует, что

D9 = А*а2ЕтА'Т = о2А*А+Т.

Как нетрудно проверить, А+А+Т= (ЛГЛ)+. Следовательно,

од = о2(лгл)+.

Остаточной суммой квадратов называется величина |] е Ц2, если 8 = л — ЛО. Найдем математическое ожидание остаточной суммы квадратов. Мы имеем

ё^ё — (т)Л ЛлД (л-ЛЛ+л) = Лг (Е-2АА^ + Л+гАгАА+)тз = = лг (Е — Л Л+) ц.

Обозначим временно элементы матрицы Е — АА+ через ру. ТогдаЛг (Е - Л Л+) ц = S Pv'W,

i, / и 8Г8 можно переписать в виде

или 6Г Аг (£ — АА+)А9. Но

ег (АТА-АгАА+А)е = О.

Таким образом,

М (|| ё ||2) = о2 tr (Е-АА^.

Для того чтобы найти след матрицы Е — АА+, вспомним, что матрица А А* идемпотентна (см. стр. 198). Отсюда вытекает, что идем- потентна и Е — АА+, и потому ее характеристические числа все равны нулю или единице. Так как Rg (Е — АА+) — т — г, равны единице будут ровно т — г характеристических чисел. Итак,

tr (Е — АА+)~т — г.

Окончательно мы получаем

М (|| ё ||2) = аг(т — г).

Этот результат используется для получения оценки параметра о по формуле

т — г '

Подробнее с регрессионным анализом можно познакомиться по книге Себера [30] или любому курсу математической статистики. Применения псевдообратных матриц к статистическим задачам описываются в книге Алберта [1].

ГЛАВА V

СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ

§ 1. Однородные системы линейных неравенств '

Основные определения. В этом параграфе мы будем изучать системы неравенств вида

а\хх +... + а'пхп ^ О,

(1)

а™хх +... + а^хп 3= О,

где а1. — вещественные постоянные. Мы не уменьшаем общности, предполагая все неравенства неравенствами одного смысла (2а 0). Действительно, неравенство акхх + ...+ апхп ^ 0 можно записать в нужном нам виде, умножив его на —1. Точно так же в виде (1) могут быть записаны смешанные системы из неравенств и линейных однородных уравнений, так как однородное линейное уравнение можно записать в виде пары неравенств агхх4-... +алхп 5= 0 и —агхх — ... — апхп ^ 0. С другой стороны, отсутствие в рассматриваемой системе строгих неравенств (со знаком » является существенным предположением.

Условимся считать столбец х неотрицательным и писать х^О, если неотрицательны все элементы столбца. Аналогичный смысл имеют неравенства х ^ 0, х 5s у и т. д. При этом следует помнить, что два столбца могут быть несравнимы между собой, т. е. оба неравенства х ■> у и х ^у могут быть неверны.

Пользуясь введенным обозначением, мы можем записать систему неравенств (1) в матричном виде

Ах^О.(2)

Введем геометрическую интерпретацию системы неравенств (1) в терминах линейных пространств. Пусть =5?л — вещественное линейное пространство и еъ ..., еа — базис в нем. Множество векторов, координаты которых удовлетворяют однородному линейному неравенству

aix1 +... + алх” 2s 0,

называется замкнутым полупространством. Если неравенство строгое, то полупространство называется открытым. Замкнутое полупространство является объединением открытого полупространства

и граничного подпространства, определяемого уравнением

aiX14-...4-a„x” = 0.

Всюду, кроме явно отмеченных случаев, мы будем рассматривать замкнутые полупространства.

Пересечение конечного числа полупространств называется замкнутым выпуклым многогранным конусом. Поскольку в этой главе нам не будут встречаться другие конусы, мы часто будем пропускать прилагательные «замкнутый», «выпуклый» и «многогранный». Согласно этому определению множество всех векторов, координаты которых удовлетворяют системе однородных линейных неравенств, является выпуклым многогранным конусом.

Как и все определения, использующие координаты, определения полупространства и конуса зависят от базиса. Легко проверить, что в действительности такой зависимости нет: множество, определяемое системой (2) в одном базисе, определяется системой того же вида в любом другом базисе. В самом деле, пусть х = Sx'. Тогда система (2) равносильна ASx* - 0.'

Однако за редким исключением нам не придется менять базис. При фиксированном базисе мы фактически имеем дело с «-мерным арифметическим пространством. Мы будем обозначать вектор так же, как его координатный столбец — строчной полужирной буквой, а его компоненты — той же буквой (светлого шрифта), снабженной индексом.

Приведем примеры многогранных конусов в трехмерном пространстве:

№^0, х’5=0, х3 5= 0 — неотрицательный октант.

х1^0, х25= 0 —двугранный угол.

х15= 0, — х15= 0 — плоскость.

4)х!^0, х25=0, х35=0, х1 + х2 — х3 5= 0— четырехгранный конус.

х15=0, х25=0, х35=0, х1 + х2 — х3 5= 0, — х1 — х2 + х35=0— плоский угол.

Предоставим читателю показать, что конусами являются: нулевой вектор, одномерное подпространство и луч, т. е. множество векторов вида ах, где л: 0, a a 5s 0.

Предложение 1. Если векторы хг и х2 принадлежат выпуклому многогранному конусу УС, то векторы Xi + x2 и ахх для любого a > 0 также принадлежат УС.

Доказательство осуществляется без труда подстановкой координат векторов в систему линейных неравенств, задающую конус.

Пусть дан конус УС. Можно рассматривать его линейную оболочку, т. е. совокупность всех конечных линейных комбинаций векторов, принадлежащих конусу. Линейная оболочка — подпространство минимальной размерности, содержащее конус УС. Размерность линейной оболочки конуса называется размерностью конуса.'•

Неравенство, входящее в систему (1), называется жестким, если для всех решений системы оно выполняется только как равенство. Заменив жесткие неравенства на равенства, мы не изменим множества решений системы.

Предложение 2. Если р — ранг матрицы, составленной из коэффициентов жестких неравенств, то конус 9С, определяемый системой (1), лежит в (п—рУмерном подпространстве и определяется в нем системой, которая не содержит жестких неравенств.

Доказательство. Не ограничивая общности, мы можем предположить, что первые р неравенств системы жесткие и соответствующие им строки коэффициентов линейно независимы. Допустим, что эти строки каким-то образом дополнены до квадратной невырожденной матрицы S, и введем новый базис, связанный со старым матрицей перехода S"1. Рассматриваемый конус в новом базисе запишется системой линейных неравенств

-ЛЗ-^О.(3)

Эта система отличается от исходной только на замену переменных, и потому жестким неравенством исходной системы соответствуют жесткие, а нежестким — нежесткие неравенства. Первые р строк матрицы Л3~* совпадают со строками единичной матрицы. Поэтому первые р неравенств системы (3) имеют вид z/1 ^ 0, .... ур ^ 0. Мы можем заменить их на равенства, не меняя множества решений системы. При этом остальные жесткие неравенства автоматически будут выполнены. Учитывая в оставшихся (нежестких) неравенствах равенства у1 = 0, .... ур = 0, мы получаем систему нежестких неравенств с переменными z/p+1, ..., у”.

Итак, мы видим, что конус расположен в подпространстве, натянутом на последние п—р базисных векторов и определяется в этом подпространстве системой из нежестких неравенств. Предложение доказано.

Предложение 3. Если система однородных линейных неравенств (1) не содержит жестких неравенств, то соответствующая система строгих неравенств

а^х1 + • • • + ^х'* > 0,

(4)

.а^х1 +... + ау > 0

имеет решение.

Доказательство. По определению нежесткого неравенства при любом t = 1т для z-го неравенства найдется решение системы Хь которое удовлетворяет ему как строгому неравенству. Рассмотрим столбец Xi + .-- + хт. Пусть о* — строка коэффициентов /-го неравенства системы. При подстановке в это неравенство столбца Xi + ... + хт мы получаем

а1 (Х1+... + хт) = a*Xi +.. ■+а%+• • ■+о'^-

Здесь слагаемое alxt положительно, а остальные слагаемые неотрицательны. Таким образом, Xi + ...+xm— то решение, существование которого мы доказываем.

Пусть 9? — конус, определяемый системой (1), которая не содержит жестких неравенств. Векторы, координаты которых удовлетворяют системе (4), называются внутренними векторами конуса Ж, а множество всех внутренних векторов — его внутренностью. В соответствии с предложением 2 любой конус в некотором подпространстве определяется системой нежестких неравенств. Соответствующая система строгих неравенств имеет решения, лежащие в упомянутом подпространстве. Множество этих решений называется относительной внутренностью конуса.

Предложение 4. Каждый внутренний вектор конуса 3% принадлежит конусу вместе с некоторой своей окрестностью относительно произвольной нормы.

Поскольку все нормы эквивалентны (теорема 1 § 4 гл. I), достаточно доказать это утверждение для с-нормы

|| х |с = шах | а/ |.i

Рассмотрим вначале одно неравенство и вектор х0, для которого

OiXg -]-...-]- апХо = А > 0.

Положим

/ п\—1

е = А ( 5•(5)

v = i/

(Число е определено, так как среди коэффициентов av .... ап есть отличные от нуля: неравенство с нулевыми коэффициентами является жестким). Если вектор х таков, что || х — х0 ||с < е, то он, как и х6, удовлетворяет строгому неравенству.

Действительно, обозначив х' — х‘ через б1', имеем

2 а^ = 5 °ix6— 22 а>^ •

Г = 11 = 11=11 = 1

Но

2 а;К ^ 2 I ^1 И ai I ^ тах 1 ^ I S I I < ^* ;=!i=i1(=1

Отсюда мы заключаем, что

2 а4х'>0,

t = 1

как и требовалось.

Рассмотрим теперь систему неравенств (4) и вектор х0 —решение этой системы. Каждое из неравенств системы по формуле (5)

определяет радиус такой окрестности вектора х0, любой вектор которой удовлетворяет этому неравенству. Минимальная из этих окрестностей состоит из векторов, удовлетворяющих системе (4). Теперь нетрудно доказать следующее

Предложение 5. Если конус 92 в пространстве Хп определяется системой линейных неравенств, которая не содержит жестких неравенств, то размерность 92 равна размерности пространства

Для доказательства рассмотрим какой-нибудь внутренний вектор х0 конуса 92. Пусть его координаты равны xj, ..., х", а е есть радиус окрестности вектора х0, состоящей из внутренних векторов 92. Рассмотрим векторы с координатами

Xl-Г], X»,.... х",

хо’ *0-4_хо,

Ч’....Т],

где | ц | < в и ц отлично от характеристических чисел матрицы, все строки которой совпадают со строкой х*х". Легко видеть, что эти векторы линейно независимы и принадлежат 92. Предложение доказано.

Отсюда и из предыдущих предложений следует

Предложение 6. Размерность конуса 92, определяемого системой линейных неравенств (1), равна п — р, где р — ранг матрицы, составленной из коэффициентов жестких неравенств.

Строение выпуклого многогранного конуса. Пусть 92 — конус, задаваемый системой неравенств (1). Рассмотрим подмножества конуса 92, получаемые заменой некоторых нежестких неравенств системы (1) на равенства. Легко видеть, что эти подмножества — конусы меньшей размерности. Они называются гранями конуса 92.

Частным случаем грани является подпространство, определяемое системой линейных уравнений

alx1 +... + а^х" = 0, (6)а^х1 +... + ау = 0.

Эта грань называется минимальной гранью конуса. Название связано с тем, что какова бы ни была грань 92*, она содержит в себе минимальную грань. Размерность минимальной грани равна п — г, где т — ранг матрицы Д из коэффициентов системы (1).

Рассматривая грань 92' конуса 92 как самостоятельный конус, мы можем определить грани 92'. Очевидно, что они являются гра-

ними конуса 95. Минимальная грань конуса 5Г является минимальной гранью любой его грани, .

Минимальная грань конуса может оказаться нулевым подпространством. В этом случае конус называется заостренным. Для того чтобы конус был заостренным, необходимо и достаточно, чтобы Rg Л = п. Если Rg Л < п, то конус называется тупым. (Употребляется также термин «клин».)

Удобно будет ввести следующее определение. Пусть 9\, ...,9^ — множества векторов в линейном пространстве 95п. Суммой 9\ + ...+ + ^q этих множеств мы будем называть множество всех векторов вида х = хг +... +xq, где Xi е 9Ь 1 = 1 q.

Отметим, что сумма подпространств в смысле обычного определения является их суммой в указанном выше смысле.

Теперь мы можем сформулировать и доказать следующее

Предложение 7. Каждый выпуклый многогранный конус 95 является суммой некоторого заостренного конуса 95х и своей минимальной грани 95°. Каждая грань 95' конуса 95 есть сумма Xй и некоторой грани конуса Ж1. Обратно, каждая такая сумма есть грань конуса 95.

Доказательство. Пусть 95х — такое подпространство, что 95 п = 95° + j?1 и ^«П^1 = 0. Рассмотрим множество векторов X1 = j?1 П 95. Оно определяется системой неравенств, получаемой объединением системы неравенств (1) конуса 95 и системы уравнений подпространства 95х. Следовательно, 95х — конус. Минимальная грань 95х определяется системой уравнений, которая получается заменой на равенства всех неравенств в системе (1) и добавлением уравнений подпространства 95х. Но это как раз система уравнений для 95° f) 95х, и она имеет только тривиальное решение. Следовательно, конус 95х заостренный.

Далее, для любого х е 95п имеет место разложение х = х0 + 4-Х1, где х0е95° и хг е 95х. Если х е 95, то вектор хг как сумма векторов х и —х0 из 95 также принадлежит 95. Таким образом, Xi е а^1. Легко видеть, что и, обратно, из х0 е 95й и хг е 95х следует Хц + х^-К. Это заканчивает доказательство первого утверждения..

Для доказательства второго утверждения достаточно заметить, что пересечение 95* () 95х является гранью конуса 95х. Но это очевидно, потому что система неравенств для 95' П 95х получается из системы для 95х — 95 5\ 95х заменой на равенства некоторых неравенств, а именно тех, которые обращаются в равенства на грани 95' конуса 95.

Обратное утверждение доказывается столь же просто.

Важные заключения о строении многогранных конусов могут быть сделаны из следующего предложения. •

Предложение 8. Пусть 95 — заостренный выпуклый многогранный конус размерности ^2. Тогда каждый вектор хй^95 представим как сумма двух векторов, принадлежащих граням 95.

Доказательство. Для вектора, принадлежащего грани, утверждение очевидно. Пусть х0 не принадлежит ни одной грани.

Обозначим через а1, ... , ат строки матрицы системы неравенств, задающей ЭД, и рассмотрим вектор xv из ЭД, не коллинеарный вектору х0. Будем предполагать, что нежестким неравенствам системы соответствуют номера i ^ s. Тогда для таких номеров I выполнены строгие неравенства а*х0 > 0.

Рассмотрим числа

и докажем, что среди них есть хотя бы два различных. В самом деле, если существует такое число X, что для всех i ^ s

Ца'х0) — а{Хх = 0,

то вектор Хх0 — xt удовлетворяет всем нежестким неравенствам как равенствам. Кроме того, для всех t>s имеем а‘хо = О и а’Хх = 0. Поэтому Хх0—хг удовлетворяет также и всем жестким неравенствам. Это означает, что Ххй — хг принадлежит минимальной грани конуса ЭД и, следовательно, равен нулю, так как конус заостренный. В этом случае вектор хг коллинеарен аг0 вопреки предположению.

Итак, среди чисел X, существуют различные между собой максимальное X, и минимальное Ху. Для X; имеем

X; (а*х0) — (агХ1) ^ 0, i't^ /, i ^ s,

" X, (агх0) — (агХ1) = 0.

Кроме того,

X, (агх0) — (а'Хх) = 0, i > s,

так как х0 и Хх удовлетворяют жестким неравенствам. Все эти соотношения означают, что вектор y = Xtx6 — хг принадлежит грани конуса УГ.■

Аналогично доказывается, что другой грани конуса ЭД принадлежит вектор z = Xx— XjX0. Теперь доказываемое легко следует из равенства у + z = (X,- — Ху) х0.

Грани выпуклого многогранного конуса обладают следующим свойством.

Предложение 9. Если вектор х грани ЭД* представлен как сумма нескольких векторов конуса, то все эти векторы принадлежат ЭД*.

Действительно, пусть а1 — строка коэффициентов одного из неравенств системы, обращающихся в равенства для грани ЭД*, а х = хх + ... + Xi— то разложение, о котором идет речь. Тогда

а‘х = а'Хх + • • • + ^Xt = 0,

а сумма неотрицательных чисел может равняться нулю, только если все они равны нулю. Поэтому а‘х, = 0 для всех / = 1, ..., I, откуда и следует доказываемое.

Одномерные грани конуса получаются обращением в равенства п — 1 линейно независимых неравенств системы, задающей конус. Если при этом остается еще одно независимое нежесткое неравенство, то одномерная грань является лучом. Одномерные грани- лучи называются ребрами многогранного конуса. В заостренном конусе одномерная грань — обязательно луч.

Предложение 10. Заостренный конус есть сумма своих ребер.

Докажем сначала, что каждый вектор х заостренного конуса можно представить в виде

X = «1X1 -f- ... -f- ССдгХдг,

где все а; ^ 0, а х, — ненулевые векторы, принадлежащие ребрам конуса.

Доказательство проведем индукцией по размерности конуса. У двумерного заостренного конуса гранями являются ребра, и потому доказываемое совпадает с утверждением предложения 8.

Для конуса размерности п в силу того же предложения 8 каждый вектор х может быть разложен в сумму х = Xi4-.k2, где Xi и х2 принадлежат граням. Грани—заостренные конусы меньшей размерности, и, согласно предположению индукции, существуют разложения

Xi = CCjj! 4-. • • 4* у-кУк

и

^2 = Pi^i + • • •+ ^l2l>

где все аь |3/55= 0, а у, и Zj— ненулевые векторы, принадлежащие ребрам. Отсюда прямо следует доказываемое.

Обратное утверждение очевидно. В самом деле, если XiХм— направляющие векторы ребер, то любая их неотрицательная линейная комбинация принадлежит конусу согласно предложению 1.

Для того чтобы от заостренных конусов перейти к конусам общего вида, докажем

Предложение 11. q-мерное подпространство Жд является суммой q 4- 1 лучей.

Доказательство. Пусть еи ..., eq — базис в Жд. Положим /=—(^ 4* ... 4- ед\ Тогда для любого t = 1, .... q верно равенство ■

Произвольный вектор х из Жд имеет разложение х= I1#! 4- ... ... 4- Уед. Если ^ < 0 при каком-то Г, то заменим в разложении х слагаемое ^et на

X i*i j

После приведения подобных членов мы получим разложение х по векторам elt .... eq, f с неотрицательными коэффициентами.

' Наоборот, легко видеть, что всякая линейная комбинация этих векторов с неотрицательными коэффициентами принадлежит 56 q. Предложение доказано.

Объединяя предложения 7, 10 и 11, мы получаем следующую теорему.

Теорема 1. Каждый замкнутый выпуклый многогранный конус является суммой конечного числа лучей, или, что то же, совокупностью линейных комбинаций конечного числа векторов с неотрицательными коэффициентами.

Возможно, что для некоторых целей более удобным окажется представление, связанное с предложением 7: произвольный вектор конуса представим как сумма некоторой линейной комбинации базисных векторов минимальной грани и неотрицательной линейной комбинации ненулевых векторов ребер заостренного конуса.

Теорема 1 может быть сформулирована и иначе:

Теорема 1а. Общее решение системы однородных линейных неравенств может быть записано в виде

x = aYxvV---A-a.NXN1

еде Хц ...хк —некоторый набор решений, а коэффициенты а1(..., aN неотрицательны.

Мы будем использовать следующую терминологию. Конечное множество лучей, суммой которых является конус, мы назовем системой образующих конуса и будем говорить, что они порождают конус. Про направляющие векторы этих лучей мы будем также говорить, что они порождают конус.

Минимальная (по количеству) система образующих называется остовом конуса. Допуская вольность речи, мы будем называть остовом и множество направляющих векторов лучей, составляющих остов конуса. '

По отношению к системе линейных неравенств набор решений, упомянутый в теореме 1а, назовем полной системой решений, а минимальную (по количеству) полную систему решений — фундаментальной системой.

Отметим, что существует весьма громоздкий, но в принципе приводящий к цели способ нахождения всех ребер заостренного конуса. Именно, нужно перебрать все подсистемы системы линейных уравнений (6), ранг которых равен п — 1. (Такие системы существуют, так как ранг системы (6) равен п, а вычеркивание одного уравнения уменьшает ранг не больше чем на 1.) Каждая такая система имеет фундаментальную систему решений из одного решения. Если это решение х удовлетворяет системе (1), то оно определяет ребро конуса; если оно удовлетворяет системе (1) с противоположными знаками неравенств (=^), то —хопределяет ребро конуса. В остальных случаях х не представляет интереса,

Говоря о фундаментальных системах решений однородных систем линейных неравенств, следует помнить об одном их существенном отличии от фундаментальных систем решений однородных систем уравнений. Именно, разложение решения системы неравенств по фундаментальной системе решений, вообще говоря, не единственно. Приведем соответствующий пример.

Пусть четырехгранный конус определяется в трехмерном пространстве системой неравенств

х’^0, х2^0, х3^0, х^х2 —х3^0.

Легко видеть, что остов этого конуса можно составить, например, из векторов ех, е2, /=^1 + ^з и g = e2 + е3, где еп е2 и е3— базисные векторы. "Нетрудно также заметить, что принадлежащий конусу вектор е2 + / можно представить также и в виде ^ + g.

Для того чтобы описать остов произвольного конуса, введем следующее определение. Крайним вектором конуса 95 назовем вектор хеЖ, который не допускает представления в виде Xy + x!, где Xi и х2 — неколлинеарные векторы, принадлежащие 95. Иными словами, вектор х крайний, если из х = х1 + х2 и х1( хг^95 следует, что Xy и х2 коллинеарны.

Очевидно, что вектор Хл:, пропорциональный крайнему вектору х с неотрицательным множителем Я, также является крайним. Луч, состоящий из крайних векторов, назовем крайним лучом.

Предложение 12. Если конус 95 заостренный, то его ребра и только они являются его крайними лучами.

Действительно, вектор х е 95, не принадлежащий ребру 95, принадлежит или внутренности 95, или внутренности его грани размерности ^ 2. В этом случае он не является крайним, так как раскладывается в сумму двух векторов, принадлежащих граням того конуса, для которого он — внутренний. Таким образом, крайними лучами могут быть только ребра. Но они действительно являются крайними лучами, как следует из предложения 9. Предложение доказано.

Каждый крайний луч конуса обязательно входит в его остов, так как векторы этого луча не могут быть получены как неотрицательные линейные комбинации векторов из других лучей. Поэтому прямым следствием предложений 10 и 12 является

Предложение 13. Остов заостренного конуса содержит, все его ребра и только их.

Докажем теперь следующее

Предложение 14. Остов произвольного конуса 95 является объединением остовов его минимальной грани Жо и заостренного конуса 95у такого, что 95 — Ха-\- 95y-

Доказательство. Согласно предложению 7 конус 95 имеет грани размерности п — г + 1, каждая из которых является суммой минимальной грани S?Q конуса 5? и одного из ребер конуса 95 х. Пусть о^ — одна из таких граней. Остов «^ мы получим,

если к остову j?0 присоединим направляющий вектор того ребра конуса 5ГЬ которое содержится в е^. В самом деле, очевидно, что все векторы из «^ раскладываются в неотрицательные линейные комбинации этой системы из п — г + 2 векторов. Остов «^ не может состоять из меньшего числа векторов, так как совокупность неотрицательных линейных комбинаций п — г + 1 векторов в (п — г + 1)- мерном пространстве является либо заостренным конусом (если эти векторы составляют базис), либо конусом меньшей размерности (если векторы линейно зависимы).

Далее, в силу предложения 9 остов конуса ST должен содержать в себе остовы всех его (/г — г + 1)-мерных граней. Минимальной системой, удовлетворяющей этому требованию, является система векторов, о которой идет речь в формулировке предложения. Это заканчивает доказательство.

Доказанное предложение можно рассматривать как уточнение теоремы 1, позволяющее описать минимальную систему векторов, порождающую конус.

Ниже мы докажем теорему, обратную теореме 1, но сначала нужно будет рассмотреть линейные неравенства, являющиеся следствиями заданной системы линейных неравенств.

Неравенства — следствия системы линейных неравенств. Рассмотрим неотрицательную линейную комбинацию неравенств, составляющих систему (1). Это — линейное неравенство такого же вида, как и неравенства системы. Оно имеет строку коэффициентов иА, где « — строка Ц их, .... ит || с неотрицательными элементами, а А — матрица системы.

Очевидно, что неравенство иАх^О является следствием системы Ах^О в том смысле, что оно выполнено для всех ее решений.

В этом пункте мы получим фундаментальный результат, который состоит в том, что каждое однородное линейное неравенство, являющееся следствием системы Ах^О, имеет вид иАх^О при «^0. Этот результат известен как теорема Фар^аша. Предварительно мы докажем следующее

Предложение 15. Системы Ах^ 0 и иА = 0, и^ 0 обладают решениями х0 и и0, для которых

Ах0 + ио >0. (7)

Докажем сначала, что найдутся решения, для которых положительна первая компонента левой части (7). После этого доказательство не будет составлять труда.

Если т = 1, т. е. матрица А состоит из одной строки, утверждение очевидно. В самом деле, если единственная строка а1 нулевая, то положим х = 0, а и = 1. В противном случае положим х = (а1)7, а и = 0.

Допустим теперь, что утверждение доказано для матриц, состоящих из т — 1 строк, и докажем его для матрицы А из т строк а1, ..., ат. Строки а1, ..., am-Y составляют матрицу А, к которой

можно применить предположение индукции. Поэтому существуют столбец х высоты п и неотрицательная строка Цы1, ..., ы'"-11|, для которых

Ах^О, аА = 0, а1х + а1>0.

Если атх^0, то х и Цы1, .... ит-1, 0 || являются требуемыми решениями, и утверждение доказано. Допустим, что атх «<0.

Составим матрицу В размеров (т — 1) X п из строк

b* = а1 — гАат, i=l, ..., т — 1, где

Очевидно, что столбец Вх состоит из элементов а*х + а1атх и потому равен нулю. К матрице В применим предположение индукции и найдем столбец у и строку с такие, что

Ву^О, ®В = 0, ®2;0,

bxy + и1 > 0.bxy + и1 > 0.Рассмотрим строкуzy =Рассмотрим строкуzy =т-1U1Um-1, — ^ aiu'4 = 1т-1U1Um-1, — ^ aiu'4 = 1

bxy + и1 > 0.

bxy + и1 > 0.

Рассмотрим строку

zy =

Рассмотрим строку

zy =

т-1

U1Um-1, — ^ aiu'

4 = 1

т-1

U1Um-1, — ^ aiu'

4 = 1

Она неотрицательна, так как все и' ^ 0, az ^ 0 в силу dx ^ 0 и атх < 0. Легко видеть, что

wA = яВ = 0.

Рассмотрим столбец z=y + Рх, где р выбрано так, чтобы amz = 0. Для этого должно быть р = —ату/атх. Мы имеем

Здесь использовано доказанное выше равенство Вх = 0.

Далее, из (8) следует, что a1z = b1y. Кроме того, ш1 = и1. Следовательно, a^ + w1 = b4y + и1 > 0, и потому z и w являются искомыми столбцом и строкой для матрицы А.

Докажем теперь, что можно найти такие столбецлг0 и строку и0, что Лхо^О, а0А = 0, и0 ^ 0 и Лх0+ и» > 0. Для этого применим доказанное выше утверждение к матрице Р,А, где Pt — матрица перестановки, переставляющая i-ю строку на первое место. Мы получим строку twzH столбец Zt, для которых положительна i-я компонента левой части (7). Рассмотрим

Xo=S^ И «0=5^.

4=14=1

Легко показать, что х0 и о0 удовлетворяют всем требуемым соотношениям. Этим заканчивается доказательство предложения.

Докажем теперь теорему Фаркаша в следующей формулировке.

Теорема 2. Каковы бы ни были матрица Л размеров т X п и строка b длины п, обязательно имеет решение одна и только одна из систем

Лх^О, Ьх < О и

иА=Ь, н^О.

Заметим сначала, что это утверждение действительно совпадает со сформулированным в начале этого пункта: если несовместна первая система, то из Лх^О следует Ьх^О, и тогда совместна вторая, т. е. Ь есть неотрицательная линейная комбинация строк А. Обратно, если совместна первая система, то неравенство Ьх ^ О не следует из Лх^О, и тогда противоречива вторая система, т. е. Ь не получается как неотрицательная линейная комбинация строк А.

Для доказательства теоремы рассмотрим матрицу А, получаемую из А добавлением строки —Ь. В силу предложения 15 существует такой столбец х высоты п и такая неотрицательная строка и длины т + 1, что

Лх^О, иА = 0, Лх + «г>0.

Выделяя последний элемент строки и

® = И «1, • • •» ^mi ^m+1 f = И W, Um^-i |, получаем следующие соотношения:

Лх^О, —6x^0, иА— um+1b = 0.

Выделим последнюю компоненту столбца Ах + иТх

-Ьх-\-^т-Н.0 •

Это означает, что либо umti">0, либо Ьх <_0. В первом случае совместна вторая система: и°А=Ь, где

ы9 = _^_^0,i=l,..., т.

Во втором случае совместна первая: Ах ^ 0, Ьх < 0.

Докажем, что сразу обе системы не могут быть совместны. Действительно, из всех четырех соотношений следует, что иАх^О и иАх = Ьх <,0. Теорема доказана.

Если мы заменим матрицу А на транспонированную матрицу АТ, запишем строки в виде столбцов и столбцы в виде строк, мы получим следующую равносильную формулировку теоремы.

Следствие. Какова бы ни была матрица А и столбец Ь, обязательно имеет решение одна и только одна из систем

Ах — b,х^О

И

иА^О, ub<0.

Это следствие — условие существования неотрицательных решений у системы линейных уравнений. Полезно сравнить его с теоремой Фредгольма, которая может быть сформулирована так:

Для любой матрицы А и любого столбца b обязательно совместна одна и только одна из систем

Ах = Ь и

иЛ = 0, ub <0.

(Доказать, что приведенное утверждение равносильно теореме Фредгольма, предоставляется читателю.)

Теперь мы в состоянии доказать теорему, обратную теореме 1. Теорема 1 и ее обратная показывают, что выпуклый и многогранный конус можно определить не только как пересечение конечного числа полупространств, но и как множество всех неотрицательных линейных комбинаций конечного числа векторов.

Теорема 3. Пусть <^ — множество всех неотрицательных линейных комбинаций векторов аг, ..., ат. Тогда чМ является пересечением конечного числа полупространств. '

Пусть А — матрица размеров п X т, состоящая из столбцов ах, ..., ат. Вектор b принадлежит «А если Ь = Ах, х^О и только в этом случае. В силу следствия из теоремы 2 это условие равносильно тому, что неравенство ubs^O вытекает из системы неравенств иА 2= 0, или, что то же самое, из системы АТиТ ^ 0.

Обозначим через их, .... Un фундаментальную систему решений системы иА ^ 0 и рассмотрим систему неравенств

Uib^O, ..., uNb^0(9)

относительно b. Вектор b удовлетворяет этой системе тогда и только тогда, когда он принадлежит о<.

Действительно, если ub^O для всех решений системы и А 2= 0, то, в частности, выполнено (9). Обратно, произвольное решение и системы иА ^ 0 представимо в виде и = а1и1 + ... + aNUN, где все ах, ..., а^ неотрицательны. Поэтому из (9) следует неравенство ub 2= 0 для произвольного и.

Таким образом, система неравенств (9) задает множество ^, и теорема доказана.

Заметим, что при доказательстве мы могли выбрать вместо их, ..., Un произвольную систему столбцов, порождающую конус решений системы иА ^ 0. Выбрав фундаментальную систему решений, мы получили для о^ систему неравенств, содержащую минимальное число неравенств.

Для системы однородных линейных уравнений очень просто выделить эквивалентную ей систему из минимального числа урав-

нений—достаточно взять уравнения, соответствующие строкам базисного минора матрицы системы. Для систем неравенств это сделать сложнее. Дело сводится к отысканию остова некоторого вспомогательного конуса 5Г, который порожден строками коэффициентов неравенств исходной системы. Сейчас мы рассмотрим эти конусы подробнее..

Двойственные конусы. Пусть 35 — конус в линейном пространстве 56п. В пространстве 56„, сопряженном пространству 56 п, рассмотрим множество 35*, составленное из всех таких _у, для которых *)

(у, х>>0,(10)

каков бы ни был вектор х е 35. Если векторы xlt ...,Xn задают остов конуса 35, то условие (10), очевидно, равносильно системе линейных неравенств

<у, хг)^0, t = lN.

Таким образом, ST* является конусом.

Определение. Конус Ж* в пространстве J?*, определяемый условием (10), называется двойственным или сопряженным конусу 35 в Жп.

Пусть конус 35 в некотором базисе задан системой линейных неравенств (2). Тогда строки матрицы А являются координатными строками векторов о1, .... ат из 56*. Очевидно, что все эти векторы принадлежат 35*.

Если уедГ*, т. е. (_у, х^^О для всех хеЖ, то, согласно теореме Фаркаша, найдутся неотрицательные коэффициенты «!, ..., ит, с которыми у разлагается по о1, ..., ат. Отсюда вытекает

Предложение 16. Линейные функции, стоящие в левых частях неравенств, которые определяют конус 35, порождают двойственный конус 35*.

Рассмотрим конус 35** в 56 п, двойственный конусу 35*. По определению S^**—множество всех векторов хе56п таких, что ^у.х^^О для всех у ^35*. Непосредственно из определения следует, что 35 е 35**, но, используя предложение 16, нетрудно показать, что

35** = 35.(11)

Действительно, если xt, .... х^ порождают конус 35, то 35* определяется системой линейных неравенств (_у, х,) 0, i=a = 1, ..., N, и потому 35** порождается теми же векторами Хх, ... , XN.

Формула (11), как и предложение 16, является непосредственным следствием теоремы Фаркаша. Наоборот, эта теорема легко

может быть получена из формулы (11). Поэтому формулу (11) иногда считают формулировкой теоремы Фаркаша.

Пусть векторы Ла,..., Xn из 56п порождают конус ST, а векторы З’ъ ...» Ум из Ж*п порождают е^*. Рассмотрим числа

"^ — кУь Х^Ь i = lN, / = 1М. (12)

Из них может быть составлена матрица Н, называемая матрицей двойного описания конуса УС. Столбцы Н соответствуют неравенствам системы, определяющей ST, а строки — векторам, порождающим УС. Конус УС* имеет матрицу двойного описания НТ.

Следует помнить, что для данного конуса существует много матриц двойного описания, в том числе и отличающихся размерами.

Если один из векторов у^ ..., ум линейно выражается через остальные, то та же зависимость имеет место и для столбцов матрицы Н. Обратное утверждение верно при условии, что среди Xi, ..., х^ есть п линейно независимых, т. е. конус УС является n-мерным. Аналогичные утверждения верны и для строк матрицы Н.

В матрице двойного описания обычно интересуются нулевыми элементами. Величина положительных элементов не столь существенна для описания конуса.

Нулевые столбцы матрицы Н соответствуют жестким неравенствам системы, задающей конус. Действительно, если неравенство обращается в равенство для всех Xi,..., Xn, то оно обращается в равенство и для любой их линейной комбинации.

Столь же очевидно, что нулевые строки соответствуют тем Хь которые лежат в минимальной грани конуса УС.

Таким образом, матрица двойного описания заостренного «-мерного конуса не содержит нулевых строк и столбцов. Из сказанного следует также

Предложение 17. Если конус УС заостренный, то конуо УС* п-мерный. Если конус УС п-мерный, то УС* заостренный.

Допустим теперь, что конус УС заостренный и п-мерный (и, следовательно, таков же и конус УС*\ Тогда остовы УС и УС* состоят из ребер. Составим матрицу двойного описания, используя направляющие векторы ребер.

Каждое ребро УС удовлетворяет п — 1 линейно независимым неравенствам—как точным равенствам, и хоть одному — как строгому неравенству. Поэтому в матрице двойного описания Н в каждой строке будет не меньше чем п — 1 нулей в линейно независимых столбцах и хоть один положительный элемент. Тем же свойством обладают и столбцы Н, так как они — строки матрицы двойного описания конуса УС*, составленной для его ребер. Поэтому имеет место

Предложение 18. Каждое ребро заостренного п-мерного конуса УС лежит на прямой, которая является пересечением п —• 1 подпространств таких, что ограничиваемые ими полупространства содержат УС. Каждое из этих подпространств проходит через

п — 1 ребер конуса УС, направляющие векторы которых линейно независимы.

Теорема отделимости. Еще один результат, тесно связанный с теоремой Фаркаша, — это так называемая теорема отделимости для выпуклых многогранных конусов.

Теорема 4. Если вектор х0 не принадлежит замкнутому выпуклому многогранному конусу УС, то найдется такое (п—1)- мерное подпространство Хп_г, что х0 лежит в одном из определяемых им полупространств, а конус УС —в другом, причем х0 не принадлежит sen-v

Для доказательства заметим, что, согласно формуле (11), х0 не принадлежит УС**. Это означает, что найдется у е Ж*, для которого (_у, х0) < 0. Если уеЯ*, то (у, х)^0 для любого х г УС. Итак, подпространством, существование которого мы доказываем, является подпространство, состоящее из векторов х, удовлетворяющих условию (у, х) = 0.

Существует много различных вариантов этого результата, и возможно такое изложение теории однородных систем линейных неравенств, при котором теоремы об отделимости доказываются непосредственно, а из них выводится теорема Фаркаша и другие теоремы.

Построение общего решения. Здесь мы рассмотрим один из способов построения общего решения однородной системы линейных неравенств. На геометрическом языке этот способ можно описать так.

Одно нетривиальное неравенство определяет полупространство, остов которого легко может быть построен. Допустим, что у нас уже построен конус УС s решений системы из $ неравенств, и известен остов этого конуса. Добавим к системе еще одно неравенство. Определяемое им полупространство <^ отсекает от конуса часть

^+1 = ^П ^.

которая и будет конусом решений системы из s + 1 неравенств. При этом в общем случае некоторые из ребер конуса УС$ не попадут в ®^ и окажутся «отрезанными». Зато у УС sVV появятся новые ребра, лежащие в пересечении граничного подпространства X полупространства <^ с гранями конуса УС,. Добавляя таким образом по одному все неравенства, мы получим фундаментальную систему векторов нужного нам конуса. Ниже этот процесс будет рассмотрен подробно.

Рассмотрим систему из s линейных однородных неравенств

а*х = а^1+... + й^хл^0, k = 1,s,

определяющую конус УС, и пусть xvXn — система образующих (не обязательно минимальная), порождающая этот конус. Найдем пересечение конуса УС, с полупространством «0, определяемым

252 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ неравенством

Ьх = Ьххг +... + Ьпхп За 0.

Обозначим через ру числа Ьх,, / = 1, .... N, и отнесем номер / к одному из трех классов /+, /_или /0, смотря по тому, положительно, отрицательно или равно нулю число ру.

Если множество /_ пусто, то Ьх/^6 для всех / и, как легко видеть, ^ с е^_

Пусть пусто множество /+. Рассмотрим линейную комбинацию образующих с неотрицательными коэффициентами х = а1х1+ ... ...-ф адгХдг.Если здесь ау > 0 хоть для одного j из /_, то Ьх-<0. Отсюда видно, что S^^ совпадает с множеством неотрицательных линейных комбинаций векторов X/ для всех j е /0.

Таким образом, мы можем считать оба множества /+ и /_ непустыми. Пусть i е /+ и j г /_. Рассмотрим вектор

■Ху = $tXj - ^Ху

Легко видеть, что он удовлетворяет равенству Ьхц = 0 и, таким образом, принадлежит граничному подпространству ЗБ полупространства »#. Произвольный вектор хеЖ^«Ж раскладывается в неотрицательную линейную комбинацию

х = ccjXi -ф... -ф и.^х^-

Пару слагаемых а^.-фауХу из этой комбинации мы можем представить через Ху в виде

^iXl -ф O-jX, =ру Ху -ф -ру («Д- -ф ауру) X)

или, если выразим Xj через Xi и Ху, в виде

atxt -ф ауХу = -^ хи -ф -— (а.р, -ф ауру) xt.

Так как р,- > 0, а Ру < 0, коэффициенты в правой части одного из этих выражений неотрицательны при любых неотрицательных а,- и ау.

Заменяя пару слагаемых а;х,-фауХ/ ее неотрицательным разложением по Xi и Ху или по Xj и Xij, мы получим следующее разложение вектора х:

х = 2 “*•** + 2 “Л+ 2 a-hXh + уху.kef*lei- heio

Здесь общее число индексов в множествах /^ и Л на единицу меньше, чем в множествах /+ и I_.

Если оба множества Г+ и Г_ не пусты, мы можем продолжать действовать подобным же образом по отношению к полученному разложению. Заменив некоторое количество пар слагаемых, мы

придем к разложению вида

S акХк+ ^ а/Х,+ 2 «hXh+ 5 W/-

6е J+leJ-he IoI, jeP

Здесь J+ и J _— множества номеров оставшихся векторов с pfc > О и 0Z < О соответственно, а Р — множество рассмотренных пар номеров. Процесс может продолжаться, пока одно из множеств J* или J _ не сделается пустым.

Если вектор х принадлежит полупространству ^, то при непустом J _ множество J+ пустым оказаться не может. Действительно, так как все xif и Xh при Не 10 лежат в подпространстве 58, при пустом J+ и непустом J _ мы имели бы

Ьх = 2 azpz<0.

leJ-

Таким образом, в любом случае множество J _, полученное в конце процесса, пустое, и мы доказали, что вектор хе^Г|а< представим как неотрицательная линейная комбинация векторов Xt при i е /+ U /о и векторов х1}, i е /+, / е 1_.

С другой стороны, очевидно, что любая такая линейная комбинация лежит в пересечении 9£s (] о/Л Мы получили следующее

Предложение 19. Если х^ ..., Хм — система образующих, порождающая конус %s, то х,, i е I+ U /0, и хц, I е /+, j е /_,— система образующих конуса Э£$*х-

Это предложение можно использовать для нахождения общего решения системы однородных линейных неравенств, если последовательно добавлять неравенства к первому неравенству системы. Для начала процесса можно использовать тождественно выполненное тривиальное неравенство 0x^0, но нетрудно и указать фундаментальную систему решений для одного нетривиального неравенства. В предложении 11 было показано, как построить остов подпространства. Докажем

Предложение 20. Остов полупространства, определяемого неравенством

ах = ахх1 +... + ОпХп 2$ 0, получается добавлением вектора аТ = || ап ||г к остову граничного подпространства Ж.

Очевидно, что аТ принадлежит к полупространству и не принадлежит к граничному подпространству. Рассмотрим произвольный вектор х, для которого ах = а ^ 0. Этот вектор можно представить в виде

где у г 58. Действительно, здесь оу = 0, так как

1аао? .

ах = a ==г- + ау.

аа1

Значит, аг вместе о остовом <5? образует полную систему решений неравенства ах^О. Нетрудно показать и то, что ни один из векторов этой системы не может быть из нее удален без нарушения ее полноты.

Следует заметить, что непосредственное применение предложения, при котором к полной системе присоединяются все Ху для Любых i е l+v, j е 1_, приводит к полным системам, содержащим слишком большое количество векторов. Опишем способ, позволяющий уменьшить количество векторов, вводимых на каждом этапе. Для простоты ограничимся случаем заостренного «-мерного конуса. Изложение общего случая можно найти в книге Черникова [40].

Рассмотрим пересечение ^+1 заостренного «-мерного конуса 32$ и полупространства о< с граничным подпространством 56. Систему неравенств для 32$.^ мы получим, если объединим неравенство

«[X1+... + asnxn 2? 0,

определяющее о^, с системой неравенств конуса 32$. Итак, система неравенств

«}№ + ... + ЯпХл ^ 0, (13)

«[х1 +... + asnxn ^ 0

определяет 32$^. Все ребра 32$^х находятся среди лучей, на каждом из которых обращаются в равенства по л — 1 линейно независимых неравенств системы (13). Такими лучами являются ребра 32 $ и пересечения 56 с двумерными гранями 32$, не лежащими в 56 полностью. Следовательно, остов 32$^ получается из остова 32$ исключением ребер, не лежащих в <^, и добавлением пересечений 56 с двумерными гранями 32$, не содержащимися в 56.

Возникает задача определить, какие из ребер конуса 32$ являются соседними в том смысле, что через них проходит двумерная грань. Это можно сделать по матрице Н двойного описания конуса 32$, если строки матрицы соответствуют ребрам. Двумерная грань определяется обращением в точные равенства « — 2 линейно независимых неравенств системы. Поэтому соответствующие соседним ребрам строки матрицы Н имеют нули в одних и тех же « — 2 столбцах, причем столбцы эти линейно независимы.

Нетрудно проверить, что при этом ни в какой другой строке элементы этих «— 2 столбцов не будут одновременно равны нулю. Действительно, это означало бы, что три различных ребра конуса лежат в одной и той же двумерной грани, что противоречит предложению 12.

Отметим, что, найдя ребра конуса 32 т, мы можем составить его матрицу двойного описания и продолжать далее присоединение неравенств.

Наше предположение о том, что конус 9CS заостренный и л-мер- ный, будет ограничительным на начальных шагах процесса, пока общее число линейно независимых неравенств меньше размерности пространства. Это предположение может оказаться ограничительным и на любом шагу, если появятся жесткие неравенства.

Процесс можно начать с заостренного конуса, если данная нам система линейных неравенств содержит подсистему из п независимых неравенств, фундаментальная система решений которой легко может быть найдена; в частности, если в систему входят неравенства х1 ^ 0, ..., хп 5= 0.

В этой связи следует заметить, что за счет увеличения числа переменных система однородных линейных неравенств может быть преобразована в систему с неотрицательными переменными. Для этого вместо каждой переменной х', не подчиненной условию неотрицательности, нужно ввести две неотрицательные переменные у1 и г1 и подставить в систему у* — г‘ вместо х‘. По общему решению преобразованной системы легко может быть построено общее решение исходной.

Неоднородные системы линейных неравенств

Выпуклые множества в аффинном пространстве. В этом параграфе мы рассмотрим неоднородные системы линейных неравенств вида

Ax^b,(1)

или, в более подробной записи,

опх14-...+ й1„хл ^б1,

^ml-X1 “Ь • • ■ 4“ Чтп^А ^5- Ьт.

Как и в случае однородных систем, мы не уменьшаем общности, предполагая, что все неравенства записаны с помощью знаков ^.

В поисках подходящей геометрической интерпретации для решений неоднородных систем неравенств можно обратиться к их хорошо известному частному случаю — системам линейных уравнений. Неоднородные системы линейных уравнений естественнее всего интерпретировать в аффинном (точечном) пространстве (К., § 1 гл. IX), если выбрать в нем декартову систему координат О,е, которая каждой точке X сопоставляет ее радиус-вектор ОХ и его координатный столбец х относительно базиса е, называемый также координатным столбцом точки X.

Решения неоднородной системы линейных уравнений в этом случае изображаются точками, а все множество решений — плоскостью. Решения приведенной однородной системы естественно изобразить векторами. Тогда все множество решений приведенной

системы составляет направляющее подпространство той плоскости, которая задается неоднородной системой.

Так же мы поступим и с неоднородными системами линейных неравенств — их решения будут изображаться точками в аффинном пространстве.

Этот пункт будет посвящен важному для дальнейшего классу точечных множеств в аффинно^ пространстве — выпуклым множествам.

Допустим, что система линейных неравенств (1) совместна и ЛГ1, .... X, — ее решения. Если коэффициенты аь ..., a^ удовлетворяют условиям

o^i ^^ 0, * •., сс$ 5^ 0, ах ~Е... -Е o^s ^ 1) (2) то линейная комбинация

х = ajXi -Е... -Е а$х$ (3)

также является решением системы (1). Такие линейные комбинации столбцов, коэффициенты которых удовлетворяют условию (2), называются выпуклыми комбинациями. Точку X, координатный столбец которой есть выпуклая комбинация координатных столбцов точек Хх, ..., Xs, называют выпуклой комбинацией этих точек.

При этом выбор системы координат не играет роли. Разумеется, коэффициенты линейной комбинации не изменятся при замене базиса, но и начало координат может быть сдвинуто на произвольный вектор. Действительно, из (3) следует

x-Yp = ax ^-Vp^-V.-.-VciAXs-YpY

Пусть (9s — некоторое множество точек в аффинном пространстве. Выпуклой оболочкой множества S5 называется множество всевозможных выпуклых комбинаций точек из 9s.

Примеры. 1) Покажем, что отрезок ХхХ4 есть выпуклая оболочка его концов. Отрезок лежит на прямой с параметрическим уравнением

х = хх-^Цх4 — Xi),

где хг и х3 — координатные столбцы концов отрезка. При этом точка со значением параметра t принадлежит отрезку тогда и только тогда, когда t е [0, 1]. Поэтому, преобразовав уравнение прямой к виду

X = 0'1X1 + «2^2,

имеем аг — 1 — / ^ 0, аг = t ^ 0 и ^ + а2 = 1, как и требовалось.

Пусть точки Хх, Х4 и Хэ не лежат на одной прямой. Выберем четвертую точку О, не лежащую в двумерной плоскости S2, проходящей через Хг, Х4 и Хэ. В трехмерной плоскости, натянутой на точки О, Хи Х4, Х3, выберем систему координат с началом О

и базисом 0XY, ОХ2, ОХа. В этой системе координат плоскость S2 имеет уравнение с^ + а2 + а3 = 1. Поэтому пересечение плоскости <^2 с положительным октантом рассматриваемой системы координат и есть выпуклая оболочка точек Хг, Х2, Ха. Таким образом, выпуклая оболочка трех точек, не лежащих на прямой, — треугольник с вершинами в этих точках.

Пусть точки Ху, Х2, Ха лежат на одной прямой, причем Х2 лежит между Хг и Ха. Покажем, что их выпуклая оболочка есть отрезок ХгХа. Действительно, по нашему предположению существует число а е [0, 1] такое, что х2 = ах1 + (1 — а)х2. Пусть у = Хх! + рх2 + vx3, причем А, р и v неотрицательны и в сумме равны 1. Тогда

J = (A + «p) Xi + (v + (l — ос) р) хг.

Очевидно, что коэффициенты этой комбинации неотрицательны и

A. + ap + v + (l— а) р = 1.

Этим наше утверждение доказано.

Множество точек в аффинном пространстве называется выпуклым, если вместе с любыми двумя своими точками оно содержит отрезок, соединяющий эти точки. Заметим, что пустое множество и множество, состоящее из одной точки, считаются выпуклыми.

Нетрудно проверить, что выпуклыми являются: все пространство, полупространство, ограниченное произвольной гиперплоскостью (К-, § 1 гл. IX), плоскость любого числа измерений, в частности прямая линия. Круг на обычной евклидовой плоскости — множество выпуклое, а окружность — не выпуклое.

Непосредственно из определения вытекает, что выпуклым является пересечение любого (не обязательно конечного) множества выпуклых множеств.

Предложение 1. Выпуклая оболочка любого множества является выпуклым множеством.

Действительно, пусть точки Zi и Z2 принадлежат выпуклой оболочке множества ^. Это значит, что их координатные столбцы представимы в виде выпуклых комбинаций

*1 = 01X1 + ..- +

и

*2 = Р1.У1 + • • • + ^tXt

координатных столбцов точек, принадлежащих ^. Если числа Аир таковы, что А^ 0, р^0иА+р = 1,то

"S/

^ + ^^2= 5 №)х+ 5 (рР/)^/,

. .<=i/=i

258 ГЛ. V СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ причем здесь все коэффициенты неотрицательны и

5 (Ха,)+ Z Ш = %+ц= 1. i = ii=i

Таким образом, отрезок с концами 7^ и Z2 также принадлежит выпуклой оболочке множества сТ5, и предложение доказано.

Предложение 2. Если точки Хъ ..., Xs принадлежат выпуклому множеству ©, то любая их выпуклая комбинация принадлежит этому множеству.

Докажем это предложение индукцией по числу точек. Для двух точек утверждение совпадает с определением выпуклого множества (см. пример 1)).

Рассмотрим выпуклую комбинацию X точек Хг Xh. Ее координатный столбец х выражается через координатные столбцы этих точек выпуклой комбинацией

X = «1X1 +... + a-kXh.

Если aft = 0, то утверждение прямо сводится к предположению индукции. Если а* = 1, то все остальные коэффициенты равны нулю, и утверждение тривиально.

В общем случае 0 < afe с 1 введем числа

Р/ = Т^Г' 1 = 'А —1.

Все они не отрицательны и, кроме того,

6—16—1

2 ^ = Т^г 2 = 1-а* 0 ~ “*) = 1 • / = 1i = 1

Поэтому, согласно предположению индукции, у = PjXi + ... ... +p*-iX*-i еб. Но тогда в силу выпуклости $ имеем akxk + + (1 — а*)У ей, т. е. .

»iXi +... + a^Xfc-i + <xkxk е 6,

как нам и требовалось.

Из предложения 2 следует, что каждое выпуклое множество 6, содержащее множество 3\ содержит также и его выпуклую оболочку. Отсюда и из предложения 1 вытекает

Предложение 3. Выпуклая оболочка множества ^ есть пересечение всех выпуклых множеств, содержащих 3s*.

Множество 3s точек в аффинном пространстве назовем ограниченным, если в некоторой системе координат все координаты всех его точек по абсолютной величине ограничены одним и тем же числом. Это равносильно тому, что множество координатных столбцов точек S5 ограничено в с-норме. В силу теоремы 1 § 4 гл. I, мы можем заключить отсюда, что множество в аффинном пространстве ограни-

чено тогда и только тогда, когда соответствующее множество координатных столбцов ограничено в какой-либо норме. .

Нетрудно показать независимость приведенного определения от выбора системы координат. Действительно, при изменении системы координат координатный столбец х заменяется на х' = Sx + р, и мы можем написать оценку

из которой следует доказываемое утверждение.

Предложение 4. Если множество ^ ограничено, то его выпуклая оболочка также ограничена. В частности, выпуклая оболочка конечного множества ограничена.

Доказательство. Для координатного столбца произвольной точки из выпуклой оболочки имеет место разложение

У = СЦХу + • • • + CL1XS

в выпуклую комбинацию координатных столбцов точек из 8Р. Отсюда мы получаем

IIJ II =$S S ai II Xi 11 maX II Xi I S °' = max II Xl I.i = 11t = 1I

Так как ^ ограничено, существует такое число р, что || х || ^ р для всех X е-Р. Поэтому max || Xi || ^ р и || у II ^ р, как и тре- i бовалось.

Пусть в аффинном пространстве выбрана система координат. Тогда каждое линейное неравенство, содержащее ненулевые коэффициенты при переменных, определяет замкнутое полупространство относительно плоскости, вообще говоря, не проходящей через начало координат. Система таких неравенств определяет пересечение полупространств. Тривиальное неравенство (с нулевой левой частью) или несовместно, или выполнено тождественно. Поэтому добавление таких неравенств или не меняет множества решений, или делает его пустым.

Пересечение полупространств является выпуклым множеством, так как каждое полупространство выпукло. Введем следующее

Определение. Пересечение полупространств аффинного пространства называется выпуклым многогранным множеством. Если выпуклое многогранное множество ограничено, то его называют выпуклым многогранником.

В силу этого определения множество решений неоднородной системы линейных неравенств изображается выпуклым многогранным множеством.

Заметим, что часто любые выпуклые многогранные множества называют выпуклыми многогранниками. Такого употребления слов мы придерживались в К., § 1 гл. IX.

Выпуклые многогранные конусы, определенные в § 1, можно рассматривать и как точечные множества в аффинном пространстве. Тогда они представляют собой специальный случай выпуклых многогранных множеств, в котором граничные плоскости всех полупространств проходят через общую точку — начало координат.

Множество решений неоднородной системы линейных неравенств. Мы видели, что множество точек, изображающих решения системы вида (1), является пересечением полупространств и, следовательно, выпукло. Мы даже дали таким множествам название. Теперь изучим их подробнее. С этой целью введем дополнительную переменную хл+1 и рассмотрим систему

Ах - х^Ь 5= 0,

(4)

Для каждого решения х системы (1) столбец q = Их7", HI7" удовлетворяет системе (4), и наоборот, при условии хл+1 = 1 первые п элементов решения системы (4) удовлетворяют системе (1).

Обозначим через рх, ..., ps фундаментальную систему решений системы (4) и предположим нумерацию такой, что в столбцах PiviPt последняя компонента положительна, а в столбцахр/+1,...,р5 равна нулю. При этом можно даже считать, что в первых t столбцах последняя компонента равна 1, так как любой из столбцов может быть заменен на ему пропорциональный с положительным множителем пропорциональности.

Если система (1) совместна, то / 5а 1. Действительно, в противном случае для любых х и хл+1 из Ах — хпАЛ Ь^ 0 следует хп+1 = 0, и в частности, для решения х системы (1) из Ах — 6 5а 0 вытекает 1 = 0.

Все решения системы (4) и только они могут быть представлены формулой

q = aiPi + • • • + У-tPt + Pi А+1 + • • • + $s-tPs (5) с неотрицательными коэффициентами az и Ру. При этом в силу наших предположений столбец q имеет последнюю компоненту, равную I, тогда и только тогда, когда

«1 +... + а< = 1.

Полученное равенство необходимо и достаточно для того, чтобы первые п компонент столбца (5) были решением системы (1). При этом условии, отбросив последние элементы' всех столбцов в формуле (5), мы получим обшре решение системы линейных неравенств (1).

Геометрически добавление вспомогательной переменной хл+1 означает переход к (и + 1)-мерному пространству, в котором исходное n-мерное пространство содержится в качестве гиперплоскости с уравнением хл+1 = 1. Система однородных неравенств (4) опреде-

ляет выпуклый многогранный конус ЭД. Множество решений системы (1) —это пересечение конуса ЭД и гиперплоскости xn+1 = I.

При хл+1 = 0 система (4) превращается в однородную систему

Ах^О. (6)

Решения этой системы мы будем представлять себе как векторы. Так как последняя компонента каждого из этих векторов равна нулю, они лежат в направляющем подпространстве гиперплоскости х”+1 =1. Система (6) определяет в этом подпространстве выпуклый многогранный конус ЭД. Легко видеть, что рм, ..., ps — координатные столбцы векторов остова ЭД.

Столбцы рг, ...,pt будем рассматривать как координатные столбцы точек Рг, ..., Р£. Тогда первая группа слагаемых в формуле (5) представляет собой произвольную выпуклую комбинацию точек Рг, ..., Pt, а вторая группа — произвольный вектор из конуса Ж. Таким образом, мы можем сформулировать следующую теорему, которая является переводом формулы (5) на геометрический язык.

Теорема 1. Пусть ^ — выпуклое многогранное множество. Тогда найдутся выпуклая оболочка конечного числа точек SP и выпуклый многогранный конус ЭД такие, что все точки оЭД и только они получаются откладыванием векторов из ЭД от точек из ST.

Пусть система (6) имеет только тривиальное решение. Тогда конус «%■ состоит из нулевого вектора, множество ^ совпадает с И и потому ограничено. Наоборот, если ЭД содержит ненулевой вектор, то, умножая его на достаточно большой коэффициент, можно получить точку множества <Л, среди координат которой будут сколь угодно большие по абсолютной величине. Следовательно, имеет место

Следствие. Выпуклое многогранное множество, определяемое системой (1), является многогранником в том и только том случае, когда соответствующая однородная система неравенств имеет только тривиальное решение.

Другой предельный частный случай получается при / = 1. Тут множество йР состоит из одной точки, и тогда -^—• выпуклый многогранный конус, рассматриваемый как точечное множество.

Докажем теорему, обратную теореме I.

Теорема 2. Пусть множество SP — линейная оболочка конечного числа точек, ЭД —выпуклый многогранный конус, а <Л — множество точек, получаемых откладыванием векторов из ЭД от точек из SP. Тогда ^— выпуклое многогранное множество.

Доказательство. Координатный столбец произвольной точки X из »/ имеет вид

х = «1X1 +... + «/X/ + Pi/1 +... + Рп^л-

Здесь Xi,..., Xt и /1, ..., /л — координатные столбцы соответственно точек, на которые натянуто SP, и векторов, порождающих ЭД.

Все коэффициенты неотрицательны, и Qj + ... +а/ = 1. Обоз на-' чим через рь i =1, .... I, столбцы, получаемые из х, дописыванием снизу единиц, а через qj, j = 1, ..., h, — столбцы, получаемые из/, дописыванием снизу нулей.

Произвольные неотрицательные линейные комбинации столбцов р, и q, вида

X = a-iPi +... + a-tPt + piQi 4*... + ^>пЯп составляют выпуклый многогранный конус Ж в (ц + 1)-мерном линейном пространстве. По теореме 3 § 1 найдется набор строк а1, ..., aN длины п4-1 таких, что хеЖ тогда и только тогда, когда

акх^==0

для всех k = 1, .... N. Запишем эти неравенства подробнее и учтем, что сумма коэффициентов а,- равна единице. Мы получим

tth

акх = У, ai<akx^-V У а^п + 14- У ^ (ак1^ = акх-Vaa^x^Q.

1 = 1t =1/=1

Но А'е^ тогда и только тогда, когда х е Ж. Таким образом, X е <^ тогда и только тогда, когда ее координатный столбец удовлетворяет системе неоднородных линейных неравенств

Теорема доказана.

Следствие. Выпуклая оболочка произвольного конечного множества точек является выпуклым многогранником.

Грани выпуклого многогранного множества. Говорят, что непустое выпуклое многогранное множество имеет размерность d, если оно лежит в d-мерной плоскости и не лежит ни в какой плоскости меньшего числа измерений.

Неравенства, входящие в неоднородную систему вида £1), могут быть разделены на жесткие и нежесткие так же, как это было сделано в § 1 по отношению к однородным неравенствам. Под жесткими неравенствами мы понимаем такие, которые для решений данной системы могут быть выполнены только как точные равенства.

Предложение 5. Размерность выпуклого многогранного множества Л, определяемого системой (1), равна п — р, где р — ранг матрицы, составленной из коэффициентов жестких неравенств.

Доказательство основывается на рассуждениях, аналогичных приведенным при доказательстве предложений 2 — 5 § 1. Во-первых, заменив в жестких неравенствах знаки ^ на =, мы получим уравнения плоскости ^п_р размерности п — р, в которой лежит многогранное множество е^. Если мы выразим из этих уравнений р

переменных и подставим их в оставшиеся (нежесткие) неравенства, то получим систему нежестких неравенств, с помощью которой «0 определяется в плоскости ^л_р.

Далее, рассматривая <§л_р как самостоятельное пространство, покажем, что множество, определяемое системой нежестких неравенств, не лежит ни в какой гиперплоскости. С этой целью покажем сначала, что соответствующая система строгих неравенств имеет решение х0. Действительно, каждое неравенство в некоторой точке множества ^ выполнено как строгое. Нужным нам решением х0 будет любая выпуклая комбинация этих точек с ненулевыми коэффициентами.

Нетрудно доказать, что х0 будет внутренней точкой множества в том смысле, что принадлежит ему вместе с некоторой (л — р)- мерной окрестностью. Отсюда аналогично доказательству предложения 5 § 1 можно вывести доказываемое утверждение.

Определение. Гранью выпуклого многогранного множества, определяемого системой (1), называется выпуклое многогранное множество решений системы, которая получается из (1) заменой некоторых нежестких неравенств на равенства.

Одномерные грани называются ребрами, 0-мерные грани — вершинами выпуклого многогранного множества.

Каждое одномерное выпуклое многогранное множество — это либо прямая линия, либо луч, либо отрезок. Поэтому, если ребра существуют, они могут быть только трех перечисленных выше типов. У ограниченного выпуклого многогранника ребра могут быть только отрезками.

^-мерное многогранное множество лежит в ^-мерной плоскости и (если оно не пустое и не совпадает со всей плоскостью) задается в ней системой неравенств, которая содержит нетривиальные нежесткие неравенства. Поэтому ^-мерное многогранное множество имеет (й — 1)-мерные грани, получаемые обращением в равенство одного из этих неравенств. Заметим, что все грани пустыми быть не могут. Если бы так случилось, многогранное множество состояло бы из решений системы строгих неравенств. Тогда рассуждением, аналогичным доказательству предложения 4 § 1, мы доказали бы, что это множество открытое, тогда как, будучи пересечением замкнутых множеств, оно должно быть замкнутым. Более подробно сейчас это обосновывать не стоит, так как это следует из доказываемой ниже теоремы 7.

Итак, непустое и не совпадающее с ^-мерной плоскостью ^-мерное выпуклое многогранное множество должно иметь (й — ^-мерные грани, но нельзя утверждать, что оно имеет грани меньших размерностей, так как (й — 1)-мерная грань вполне может оказаться (А — 1)-мерной плоскостью. Точнее, имеет место

Предложение 6. Выпуклое многогранное множество, задаваемое системой линейных неравенств с матрицей Л ранга г, не может иметь граней размерностей, меньших чем п — г.

Действительно, для того чтобы грань имела размерность к, на ней должны обращаться в равенства п — к линейно независимых неравенств системы. Но общее число линейно независимых равенств, получаемых из системы (1), не больше чем г.

Из доказанного нами предложения следует, что для существования вершин у выпуклого многогранного множества нгобходимо равенство п = г. Докажем, что это условие и достаточно, т. е. имеет место

Предложение 7. Непустое выпуклое многогранное множество <И1, задаваемое системой (1), имеет вершины тогда и только тогда, когда столбцы матрицы системы линейно независимы.

Доказательство. Пусть г = п. Тогда конус 5?, определяемый системой (4), заостренный, так как система уравнений

Ах — хп^Ь = О,хп+1 = 0•

имеет только тривиальное решение. Следовательно, каждый из столбцов ръ ..., р$ в формуле (5) определяет ребро конуса Ж и потому обращает в равенства какие-нибудь п (число переменных без единицы) линейно независимых неравенств системы (4). Для столбцов рг, .... pt в число обращаемых в равенства последнее неравенство не входит, так как для них x"+t = 1. Значит, первые п элементов каждого из этих столбцов удовлетворяют п линейно независимым неравенствам системы (1) как точным равенствам. Отсюда следует, что первые п элементов столбцоврх, ..., pt составляют координатные столбцы вершин многогранного множества е^. Предложение доказано.

В дальнейшем нам не придется изменять систему координат. Поэтому для облегчения словесных конструкций мы будем отождествлять точку или вектор с соответствующим координатным столбцом. Это фактически превращает аффинное пространство в арифметическое пространство, в котором мы будем рассматривать объекты аффинного пространства: точки, векторы, плоскости различного числа измерений и т. д.

' Из свойств граней произвольной размерности докажем Предложение 8. Пусть оИ’ — грань многогранного множества е^. Если некоторая точка х е ^' представлена как выпуклая комбинация

X = ОС1Х1 + ... + СС^Хк

с ненулевыми коэффициентами точек хг,..., х^из о*, то все эти точки принадлежат е№*.

Для доказательства рассмотрим произвольное неравенство а>х^Ь* системы (1), обращающееся в равенство на грани ®^'. Мы имеем

- а?х = аха*Х1-\-.^^

Для всех / здесь а*х} 5= Ы. Если при некотором /0 выполнено a'Xj^b1, то из ах > О, ..., а6>0 и а, + .. + а* — 1 следует а‘х > Ь‘ вопреки предложению. Это заканчивает доказательство.

Определение. Точку х выпуклого множества ^ мы назовем его крайней точкой, если из х = а.Ху + (1— а) х2 при 0 < а < 1 и Xi, x^e^t следует х = Ху = х2. Иначе можно сказать, что крайняя точка не является внутренней ни для какого отрезка, целиком лежащего в о*.

Предложение 9. Вершины выпуклого многогранного множества и только они являются его крайними точками.

Доказательство. Если х — вершина, т. е. 0-мерная грань множества ^, то, согласно предложению 8, из х = ахг + + (1 — а)х2, 0 < а < 1 и xlt х2 г М, следует, что х, и х2 лежат в той же 0-мерной грани и, значит, совпадают с х. Таким образом, каждая вершина — крайняя точка.

Докажем, что каждая крайняя точка является вершиной. Проверим сначала, что из существования крайней точки следует п = Rg Л. Действительно, еслиу — нетривиальное решение системы уравнений Л^ = 0, то каждое решение х системы (1) можно рассматривать как середину отрезка с концами х+_у и х — у, которые также являются решениями системы (1).

Далее, докажем, что в разложение крайней точки по формуле (5) не входят члены с номерами, большими t. Действительно, пусть х— крайняя точка. Тогда столбец q = || хТ, 1 ||г может быть представлен по формуле (5) в виде

q = «1 ру +... + a-tPt + Р1Р/+1 +... + ^s-tPs,

или q = и + о, где и = ПуРу + ... + atp(, a D = 0|/?Z+J +... 1 3

... + ₽j-/Pj. Столбцы « + у® и « + у® соответствуют точкам множества <^, и точка q— середина отрезка, ограниченного этими точками, если только ф =^ 0.

Итак, для крайней точки мы имеем

q = <XyPyA-...-Va.tPt- '

Отсюда следует, что q совпадает с одним из рх, .... р(. В самом деле, пусть, например, сц у= 0. Если а2 + ... + «< = 0, то все доказано. В противном случае q = «уРу + (1 —оц)/?о, где

Ро = (а2 + • • • + а,)-1 («гРг + • • • + atPt)i

и из определения крайней точки следует, что q=py = р0.

Но при доказательстве предложения 6 мы видели, что в том случае, когда существуют вершины, столбцы/^, ...,pt определяют именно вершины. Это заканчивает доказательство. .

Следствие. Число вершин выпуклого многогранного множества конечно. - •

Действительно, если существуют вершины, они являются крайними точками, а крайние точки определяются столбцами р15 .... Pt- Значит, все вершины определяются этими столбцами.

Если выпуклое многогранное множество, задаваемое системой (1) ограничено, то однородная система (6) имеет только тривиальное решение, а значит, п = г, и потому выпуклый многогранник обязательно имеет вершины. Мы получаем следующую теорему.

ТеоремаЗ. Выпуклый многогранник имеет вершины (крайние точки) и является выпуклой оболочкой своих вершин.

Эта теорема — частный случай более общей теоремы, согласно которой каждое ограниченное выпуклое множество имеет крайние точки и является выпуклой оболочкой своих крайних точек. В общем случае множество крайних точек бесконечно. Например, крайними точками шара являются точки ограничивающей его сферы. Доказательство этой более общей теоремы можно найти, например, в книге Никайдо [24].

Используем теорему отделимости для выпуклых многогранных конусов и сведение неоднородной системы неравенств к однородной для того, чтобы получить теорему отделимости для выпуклых многогранных множеств.

Теорема 4. Пусть Az <b. Тогда найдется такая строка v и число w, что dz-фш < 0, а для всех решений системы Ах>Ь выполнено dx-Vw 0.

Доказательство. Отметим, что столбец Z, получаемый из Z дописыванием снизу единицы, не принадлежит множеству решений однородной системы (4):

Ах — Ьхп*х / О,

Хп+х 5э 0.

Согласно теореме 4 § 1 найдется строка о длины п + 1, для которой ®г<0 и ух^О для всех решений системы (4), в частности для тех, которые имеют последнюю компоненту, равную 1. Первые п компонент каждого из таких решений удовлетворяют системе Ах^Ь. Наоборот, если х— решение системы Ах^ Ь, то х = = Их7, 1 ||т — решение системы (4).

Пусть ® = Ц у, w ||. Тогда "dz = vz + w < 0 и ox = ох + + щ^О для всех решений системы Ах^Ь, как это и -требовалось.

Условие совместности. В отличие от однородных систем, неоднородные системы линейных неравенств могут быть несовместными. Существует ряд условий совместности таких систем. Условия, обобщающие теорему Кронекера — Капелли, можно найти в книге Черникова [40]. Здесь мы приведем одно из условий, обобщающих теорему Фредгольма.

Теорема 5. Система линейных неравенств

(1)(1)Ах^Ь

(1)

(1)

совместна тогда и только тогда, когда из иА = О, и 5a 0 следует, что ub 0. -

Доказательство. Пусть система неравенств (1) совместна, т. е. существует столбец х высоты п, для которого Ах^Ь. Тогда для любой неотрицательной строки и длины т мы имеем uAx ^ ub, и потому из иА = 0 следует ub ®с 0.

Обратное утверждение менее очевидно. Покажем, что для несовместной системы вида (1) найдется строка и ^ 0, для которой иА = 0 и ub > 0. С этой целью рассмотрим строки иу, ..., us — фундаментальную систему решений системы уравнений иА = 0 и матрицу U, составленную из строк иг, ..., и$. Очевидно, что UA=O.

Через 8 мы обозначим плоскость в пространстве <^т, состоящую из всех столбцов вида Ах — b для всевозможных хее%п. Для всех уе$ мы имеем

щу = — и,Ь (i = 1, ..., s). (7)

Обратно, если уравнения (7)евыполнены для некоторого у, тоу + Ь удовлетворяет условию теоремы Фредгольма, и система Ах =у + Ь совместна. Таким образом, система уравнений (7) определяет плоскость 8. Чтобы записать эту систему в матричной форме, введем столбец у = —776. Тогда (7) примет вид

Uy = q. (8)

Система неравенств (1) несовместна в том и только том случае, когда плоскость 8 не содержит столбцов с неотрицательными элементами, или, что то же самое, система (8) не имеет неотрицательных решений. В этом случае, согласно следствию из теоремы 2 § 1, должна быть совместна система неравенств

zUssO, zq<0.

Пусть Z — какое-то решение этой системы. Обозначим zU через и. Тогда 8 5:0, иА =zUA =0 и zq= — zUb с. 0, т. е. ub > 0. Таким образом, строка и — та, которая нам требовалась.

Получим некоторые следствия из доказанной теоремы.

Предложение 10. При фиксированной матрице А множество столбцов Ь, для которых система (1) совместна, является замкнутым относительно произвольной нормы в ^т, а множество столбцов Ь, для которых эта система несовместна, является открытым.

Доказательство достаточно провести для последнего утверждения, так как дополнение открытого множества является замкнутым (см. Кудрявцев [16], т. I, стр. 305). .

Система (1) противоречива, если найдется такая неотрицательная строка -и, что иА=0 и ub>0. Если столбец Ь' отличается от b достаточно мало, та же самая строка и удовлетворяет условию ub' >■ 0, и отсюда следует несовместность системы Ах "5= Ь'.

Докажем это утверждение, оценив по с-норме возможную разность 0 = 6' — 6.

Если иБ > 0, то неравенство и (6 + 0) > 0 заведомо выполнено, если | и0 | < иБ. Но

|юр | «= max Iр,-1 5 ut = vlIPU

tn

где v= ^ «<• Поэтому достаточно малым будет отклонение, для i = i

которого

110 11с <^.

Заметим, что v =+ 0. Действительно, элементы строки и неотрицательны, и среди них есть отличные от нуля, так как «6>0.

Предложение 11. Система линейных неравенств Ах^ Б совместна при любой правой части Ь тогда и только тогда, когда система уравнений иА = 0 имеет только тривиальное неотрицательное решение.

Доказательство. Пусть система иА = 0 имеет неотрицательное решение и и система Л;е^6 совместна при любой правой части. Возьмем в качестве правой части столбец иТ. Тогда согласно теореме 5 должно быть выполнено неравенство иит ^ 0, означающее, что и = 0.

Обратное утверждение доказывается столь же просто.

В приложениях часто возникают системы неравенств вида (1) с условием неотрицательности переменных х'. Разумеется, это условие равносильно добавлению еще п. неравенств и не вносит ничего принципиально нового, но имеет смысл сформулировать условие совместности для этого случая,

Предложение 12. Система линейных неравенств Ах^ Ь имеет неотрицательное решение х 5= 0 тогда и только тогда, когда из иА - 0 и и - 0 следует ub ^0._

Доказательство. Рассмотрим матрицу А, получаемую из А приписыванием снизу единичной матрицы порядка п, и столбец Б, получаемый из b добавлением снизу п нулевых элементов. Существование неотрицательного решения системы (1) равносильно совместности системы

Ах 2э Б.(9)

Чтобы применить теорему 5, рассмотрим строки вида

« = 1«. ®J = IЫ1ит, иг, ..., и„Ц.

Система (9) совместна тогда и только тогда, когда из иА = 0, я 0 следует иБ -С 0. В более подробной записи это означает, что из иА + © = 0 и и 2= 0, ©2- 0 следует ub + ®0 - -; 0. Исклю-

чая из условия строку с, которая не входит в следствие, мы получаем требуемое утверждение.

Существуют и другие условия совместности неоднородных систем линейных неравенств, но все они, как и приведенные выше, удобны для теоретических рассуждений, но мало пригодны для практического исследования конкретной системы.

В следующих параграфах будет рассмотрена задача линейного программирования. В процесс ее решения в качестве первого шага входит отыскание точки выпуклого многогранного множества (или выяснение того, что это множество пустое). Программы для решения этой задачи доступны, просты в употреблении и эффективно работают. Поэтому они с успехом могут быть использованы и для исследования систем неравенств на совместность.

Неравенства — следствия неоднородной системы линейных неравенств. Для неоднородных систем теорема Фаркаша имеет место в следующем виде: линейное неравенство cx^f есть следствие совместной системы линейных неравенств (1) тогда и только тогда, когда оно является или неотрицательной линейной комбинацией неравенств системы, или получается из такой линейной комбинации уменьшением свободного члена. В последнем случае неравенство называют ослабленной линейной комбинацией. Мы докажем эту теорему в формулировке, аналогичной формулировке для однородных систем (теорема 2 § 1), предоставив читателю проверить, что эта формулировка равносильна приведенной выше.

Теорема 6. Если система Ах^ b совместна, то, каковы бы ни были строка с длины п и число /, из двух систем неравенств

z\x b, cx<f(10)

и

иА = с, и>0, ub^f(11)

обязательно имеет решение одна и только одна.

Доказательство. Пусть система (10) несовместна. Тогда при любом f <Lf несовместна также и система

Ax^ab, -CX^—f.(12)

К системе (12) мы можем применить теорему 5. По этой теореме существует строка у=||у, w || длины п+ 1 такая, что о ^ 0, •оА — wc = 0 и *вЬ — wf' > 0.

Докажем, что w > 0. Действительно, в противном случае мы имели бы тА = 0 и тЬ > 0, откуда следовало бы, что система Ах b несовместна.

Обозначим через с' строку ии"^ длины п. Очевидно, что

о'^О, ,о'А = с, ' т'Ь>р.(13)

Таким образом, при произвольном Г <f система (13) совместна, и из предложения 10 следует, что совместна система (11).

Нам остается доказать, что системы (10) и (11) одновременно совместны быть не могут. Это нетрудно. Если они обе совместны, и х и и — соответствующие решения, то

сх = и Ах ^sub^f,

что противоречит неравенству сх <^L Этим теорема полностью доказана.

Как уже упоминалось, часто возникает необходимость рассматривать системы неравенств вида (1) с дополнительным требованием неотрицательности переменных. Приведем формулировку теоремы Фаркаша для этого случая.

Предложение 13. Из двух систем линейных неравенств

ииAx^sb, агЗэО, cx<JAx^sb, агЗэО, cx<JиА-'С, U3$0, ub -JиА-'С, U3$0, ub -J(U)(15)(U)(15)

и

и

Ax^sb, агЗэО, cx<J

Ax^sb, агЗэО, cx<J

иА-'С, U3$0, ub -J

иА-'С, U3$0, ub -J

(U)

(15)

(U)

(15)

обязательно совместна одна и только одна система.

Как и для доказательства предложения 12, рассмотрим матрицу А и столбец Ь, с которыми можно систему Ах ^Ь, х 5г 0 записать в виде Ах^Ь. Применяя теорему 6, находим, что система Ах^Ь, сх <J совместна тогда и только тогда, когда противоречива система

аА + Ф = с, «2$ 0, о 2$ 0, ab^sf,

которую нетрудно преобразовать к нужному виду (15).

Применим теорему Фаркаша к тому частному случаю, когда система (1) является системой линейных уравнений. Мы запишем такую систему как объединение систем Ах 5г b и —Ах 5= — Ь и докажем

Предложение 14. Неравенство сх 5г f является следствием совместной системы линейных уравнений Ах = Ь тогда и только тогда, когда система

(16)(16)схсхАх = Ь,

(16)

(16)

сх

сх

совместна, и строка с есть линейная комбинация строк матрицы А.

Стоит заметить, что геометрическая формулировка этого предложения довольно прозрачна: (м — г)-мерная плоскость лежит в полупространстве тогда и только тогда, когда она имеет в нем хотя бы одну точку и параллельна гиперплоскости, ограничивающей полупространство.

Доказательство. 1. Пусть сх 5г f есть следствие системы Ах = Ь. Ясно, что система (16) совместна. Кроме того, по теореме 6 найдутся неотрицательные строки и и о, для которых с=; = uA—vA и ub — vb^f. В частности, это означает, что € = (и — ®) А, т. е. с — линейная комбинация строк А. .

2. Пусть нам дано, что с = рА и система (16) совместна. Положим и, —Pi, Vi = 0, если pi^O, и

«, = 0, ut =— pi, если р,<0, 1 = 1, ..., т.

Таким образом, и ^ 0, ® ^ 0 и р = и — ч). Для неотрицательной строки ||о, ®, 1 II длины 2m + 1 в силу совместности системы (16) из

или, иначе, ub — vb -j. Вместе с рА=иА—уЛ = с, и 5= О, ф > 0 это означает, что неравенство сх^ f следует из системы Ах ^Ь, — Ах — Ь, что мы и должны были доказать.

Принцип граничных решений. В этом пункте мы докажем следующую теорему, которая носит название принципа граничных решений.

Теорема 7. Пусть система (1) совместна и Rg А = г ^ 1. Тогда найдется подматрица А', состоящая из г строк А, такая, что RgД' = г и из А'х=Ь' следует Ах Ь. Здесь Ь' — столбец, образованный из элементов Ь, соответствующих строкам, вошедшим в А'.

Геометрически утверждение теоремы означает, что выпуклое многогранное множество решений системы (1) имеет хотя бы одну грань, являющуюся плоскостью размерности п — г.

Доказательство состоит в последовательном выборе строк, составляющих подматрицу А’. "

Покажем, что при г 2э 1 совместная система вида (1) имеет решение, обращающее хоть одно из ее неравенств в равенство. Пусть х0 — решение системы, и оно не обращает в равенство ни одно из ее неравенств. Так как г 1, хоть одно из неравенств не выполнено тождественно, и следовательно, существует столбец Xj, не удовлетворяющий системе. Рассмотрим отрезок, соединяющий х0 и х<.

х, = Хо + ЦХ1 —Хо), /е[0, 1]. ■ (17)

Простой подсчет показывает, что неравенство atXt ^ bi, где at — ья строка А, равносильно

1+а? ’

где

а? =aixi — bj

'1aiX0 — bi

при atXi — bt < 0 и af = 0 при сцхх — Ь.^О. Пусть

Тогда нетрудно проверить, что хх — решение системы (1) и а^х^ = blt.

Таким образом, система

alvx=bu, (18)

aiX^sbi, ie{l, m), i^k (19) совместна. Если г = 1, то каждое из неравенств (19) в силу предложения 14 является следствием уравнения (18), и теорема доказана. В противном случае, найдется неравенство с номером /2, которое не выполнено на некотором решении уравнения (18).

Допустим теперь, что мы выбрали к <_г строк Д с номерами ix, ..., I* так, что эти строки линейно независимы, и система

а{х = Ьь I е ^Х) ..., iu\ = I, (20)

ttjX^bj, j^I, (21)

совместна. В силу предложения 14 хоть одно из неравенств (21) не есть следствие (20), и потому найдется хх такой, что а{хх = Ьь i G /, но при некотором / выполнено a,Xi < bj.

Пусть х0 — решение системы (20), (21). Рассмотрим отрезок, определяемый формулой (17). Так как х0 и хх удовлетворяют (20), этой системе уравнений будет удовлетворять и xt при каждом t. Вместе с тем, действуя так же, как и в первой части доказательства, мы можем выбрать т на отрезке [0, 11 таким образом, что хт — решение системы (21), обращающее одно из ее неравенств в равенство. Пусть lh*x — номер этого неравенства.

Заметим, что для неравенств, являющихся следствиями системы уравнений (20), обязательно atxx—bt^0, и потому а, = 0, а минимальное значение т соответствует максимальному ау-, которое положительно. Поэтому строка dife г не является линейной комбинацией строк аь i е I.

Присоединяя равенство dik+ix = bik^ к системе (20) и исключая соответствующее неравенство из (21), мы получим совместную систему вида (20), (21), но уже с к + 1 линейно независимыми равенствами.

Теперь, если к + 1 = г, то теорема доказана, если же к + 1 -< г, то процесс выбора строк может быть продолжен. Это заканчивает доказательство.

В предложении 6 мы видели, что выпуклое многогранное множество не может иметь граней размерности, меньшей чем п — г. С другой стороны, сейчас мы докажем, что множество решений системы линейных неравенств (1) не может содержать плоскости, размерность которой больше чем п — г. Говоря алгебраическим

языком, имеет место

Предложение 15. Пусть все неравенства системы (1) выполнены для решений совместной системы линейных уравнений

CjX — fj, /=1S,(22)

причем строки clv.., cs линейно независимы. Тогда s> Rg А.

Действительно, из предложения 14 следует, что каждая из строк матрицы А есть линейная комбинация строк сь .... cs. Поэтому s ^ Rg А = г, а размерность п — s плоскости, определяемой уравнениями (22), не больше п — г.

Таким образом, в теореме 7 доказано существование (п — г)- мерной грани-плоскости, размерность которой минимальна среди размерностей граней и максимальна среди размерностей плоскостей, содержащихся в многогранном множестве.

Основы линейного программирования

Введение. Методы нахождения наибольшего (или наименьшего) значения линейной функции на выпуклом многогранном множестве объединяются под общим названием линейного программирования. Более подходящим по смыслу названием было бы «линейная оптимизация», но не слишком удачно переведенный с английского ) термин прочно вошел в обиход.

Линейное программирование как самостоятельное направление появилось в конце 40-х — начале 50-х годов, т. е. примерно в то 'же время, что и первые электронные вычислительные машины, и в значительной мере развивалось в связи с усовершенствованием вычислительной техники. Стремление применить математический аппарат и возможности вычислительных машин к широкому кругу прикладных задач вызвало создание линейных оптимизационных моделей в экономике, технике, медицине, военном деле и т. д.

Слово «модель» в этом контексте означает заведомо приближенное и неточное описание реальной ситуации и связанной с ней задачи, которое, однако, сохраняет достаточное для практических целей сходство. В математических моделях описание производится с использованием математической символики и математического аппарата. В частности, линейные модели используют линейные функции и системы линейных уравнений или неравенств. Оптимизационные модели отличаются тем, что по отношению к ним ставится задача нахождения условного экстремума функции.

Экономические приложения наиболее характерны для линейного программирования, и для простоты.мы будем говорить только о них. Чтобы иметь перед собой нечто конкретное, рассмотрим следующую модель, называемую стандартной экономической интерпретацией общей задачи линейного программирования.

Рассматривается предприятие, которое может производить п видов продукции с использованием некоторого набора из т ресурсов (например, труд, станки, энергия, материалы ...). Известно, что на производство единицы продукции /-го вида требуется ац единиц Pro ресурса. Заданы также предельные объемы расхода каждого ресурса: b‘, t = 1, ..., т, и величина прибыли от продажи единицы продукции каждого вида: с,, / = 1, ..., п. Требуется указать, сколько продукции какого вида следует выпустить для получения максимальной прибыли.

Если предприятие произведет х1 единиц продукции /-го вида (/' = 1, ..., л), то оно израсходует'

ailxi+... + ainxr‘

единиц Pro ресурса. Этот расход не должен превышать предельно возможного расхода Ь*. Таким образом, ограничения на ресурсы имеют вид системы линейных неравенств

а^х1 + • • • + CLiltxn ^b*, z = 1т.

Общая прибыль от выпуска всей продукции будет равна

Ф (х) = сдх1 + • • • + cnxn.

От нас требуется подобрать х1, ..., х" таким образом, чтобы они удовлетворяли системе линейных неравенств и доставляли функции максимальное значение.

Уже при создании первых линейных оптимизационных моделей выяснилось, что задача линейного программирования, к которой они приводятся, может быть полностью решена. Это вызвало бурный рост числа работ в этой области и столь же бурное развитие линейного программирования, перед которым новые модели ставили новые требования.

Целью значительного большинства работ по линейному программированию было решение задач возможно больших размеров (т. е. с большим числом переменных и неравенств) за возможно меньшее время. Исследованию точности полученного решения придавалось второстепенное значение. Это происходило не только потому, что в период быстрого роста разработка трудоемких и не дающих непосредственной отдачи вопросов всегда откладывается. Основная причина в том, что в экономических задачах главным источником ошибок являются неадекватность модели, т. е. ее несоответствие реальности, и ошибки при сборе исходной информации. Хотя ошибки округления, накапливаясь, могут привести к решению, вообще не имеющему отношения к решаемой задаче, они не вызывали особого беспокойства со стороны экономистов благодаря ходячему представлению о них как о чем-то ничтожно малом по сравнению о прочими источниками ошибок.

- Решение задач больших размеров стимулировалось следующим обстоятельством. Линейные модели первоначально составлялись

для экономических задач мелкого масштаба (например, для планирования в пределах фирмы), но по мере успехов в этой области стали разрабатываться линейные модели для более крупных задач вплоть до разработки плана по народному хозяйству в целом. Естественно, что такие модели приводят к задачам больших размеров. С практической точки зрения, однако, такие модели не имеют большого значения, так как они не могут быть адекватными. Не говоря уже о том, что невозможно описать большую и сложную экономическую задачу при помощи хотя бы и большой системы линейных неравенств, сам подход, лежащий в основе оптимизационных моделей, требовал бы выразить цель развития большого экономического организма (скажем, всего народного хозяйства) при помощи одной функции, которую нужно максимизировать.

Развитие вычислительной техники оказывает на линейное программирование двоякое влияние. С одной стороны, увеличение быстродействия машин и объема их запоминающих устройств, улучшение периферийного оборудования — все это позволяет решать задачи линейного программирования все больших размеров. Это стимулирует разработку линейных экономико-математических моделей и косвенно способствует развитию теории линейного программирования. Непосредственное же влияние прогресса вычислительной техники на линейное программирование скорее отрицательное.

Дело здесь вот в чем. Само по себе нахождение максимума линейной функции на многогранном множестве никаких теоретических трудностей не представляет. Несколько упрощая ситуацию, можно сказать, что максимум может быть найден простым перебором вершин этого многогранного множества. Таким образом, если бы существовала чудо-машина, способная осуществить этот перебор за приемлемое время, никакой теории не понадобилось бы. Современные большие машины по отношению к задачам двадцати летней давности находятся почти в положении чудо-машин. Если раньше для решения некоторой задачи требовался специально разработанный алгоритм, теперь она может решаться по стандартной программе за еще меньшее время. Здесь, кстати, лежит еще один источник интереса к непомерно большим задачам.

■ В целом, можно сказать, что за сравнительно короткое время линейное программирование сделалось, во-первых, важной составной частью новой науки — математической экономики, а во-вторых, стало большим разделом прикладной математики, богатым идеями, результатами и связями с другими ее разделами.

В этой главе мы познакомимся с основными результатами и только некоторыми приложениями линейного программирования.

Постановка задачи. В этом параграфе мы будем предполагать, что задана система линейных неравенств вида

ХЕО, Ax^b, (1)

или, в более подробной записи, , ацХ1 + ... + а1лхл ^Ьх,

^ml^ "К • • * Ч" ^тп^п ^^ ^т>

. х^О, .... хл^0

и отыскивается решение х1, ...,хп этой системы, на котором функция

ф(х) = С1Х14-...4-с„хл (2)

принимает минимальное значение.

Функция (2) называется целевой функцией задачи, система неравенств (1) — системой ограничений, любое решение системы неравенств (1) называется допустимой точкой, а та точка, в которой достигается минимальное значение, — решением задачи. Стоит отметить, что существует несколько различных систем терминов для описания задачи линейного программирования. Так, например, решение задачи иногда называют «оптимальным планом» и т. п.

Как и в § 2, для геометрической интерпретации неоднородной системы неравенств (1), мы воспользуемся аффинным пространством. Для наших целей можно будет ограничиться одной раз на всегда выбранной системой координат, что, по существу, превращает аффинное пространство в арифметическое пространство. Мы будем отождествлять точку с ее координатным столбцом.

Сформулированная нами .задача не является задачей самого общего вида, но обладает тем свойством, что произвольную задачу линейного программирования можно привести к такому виду при помощи несложных преобразований.

Во-первых, может оказаться необходимым найти максимум функции, а не минимум. Но очевидно, что, научившись находить минимум, мы сможем найти и максимум, так как максимум функции Ф (х) принимается в той же точке, что и минимум функции —ф (х).

Во-вторых, система линейных неравенств (1) содержит условия неотрицательности переменных. Как мы видели в конце § 1, произвольная система линейных неравенств может быть преобразована в систему с неотрицательными переменными, если вместо каждой из исходных переменных х‘ ввести две неотрицательные переменные у* и г1 такие, что х1 = у1 — 2‘. Подробнее о преобразованиях задачи линейного программирования речь будет идти в п. 2 § 4.

Наличие в системе ограничений условий неотрицательности переменных приводит к тому, что ранг системы неравенств (1) обязательно равен п, и потому выпуклое многогранное множество допустимых точек имеет вершины, если, конечно, оно не пустое.

Задача линейного программирования не обязательно имеет решение. Может случиться, что система ограничений не совместна, но и при совместной системе ограничений решения может не существовать, если целевая функция не ограничена снизу. Последнее

возможно только тогда, когда многогранное множество не ограничено.

В этом параграфе мы не будем заниматься способами решения задачи, а исследуем ее основные свойства.

Существование решения. Прежде всего, мы установим условия, при которых существует решение задачи

х ^ 0, Ах^Ь, сх->тт,(3)

и опишем множество решений, если оно не пустое.

Теорема 1. Если система ограничений (1) совместна, а целевая функция ограничена снизу, то задача (3) разрешима. Наименьшее значение функции ф достигается в одной из вершин многогранного множества , определяемого системой (1) (а, кроме того, возможно, и в других точках).

Для доказательства представим произвольную точку множества всоответствии с теоремой 1 § 2 в виде

X = и + -и.

Здесь

Nи— у ai^i■<=1

— выпуклая комбинация вершин хи ..., Xn множества е^, ам

0=2 ^цi = i

— вектор конуса, остов которого 1г, ..., 1М.

Заметим, прежде всего, что clj^O для всех / = 1, ..., М. Действительно, если бы нашелся вектор /й, для которого было бы clk < 0, то, увеличивая 0* при фиксированных остальных коэффициентах, мы могли бы неограниченно уменьшать значение функции

Ф (х) = сх = ^kclk + У ^jdj + У а,схьi*ki '

что противоречит предположению об ее ограниченности снизу.

Сопоставим точке х точку х', которая получается из х заменой на нуль всех коэффициентов 0, в ее разложении. Тогда

сх^сх',так как сх* получено из сх отбрасыванием неотрицательныхслагаемых. Обозначим через ф0 наименьшее из чисел cxlf ...» сх^.Тогда справедлива следующая оценка:

NN

< = 1< = 1СХ = У а^Х, >фо 2 а- = Фо-

< = 1

< = 1

< = 1

Таким образом, для произвольной допустимой точки х выполнено неравенство

СХ ^ <Ро,

где <р0 — значение функции <р (х) = сх в одной из вершин Это заканчивает доказательство.

Назовем точку х внутренней точкой выпуклого многогранного множества е+, определенного системой неравенств (1), если она удовлетворяет всем нежестким неравенствам системы как строгим неравенствам.

Предложение 1. Если линейная функция ф (х) не постоянна на многогранном множестве е^, то она не может достигать наименьшего значения в его внутренней точке.

Пусть р — ранг системы, составленной из жестких неравенств, входящих в систему (1). Согласно предложению 5 § 2 многогранное множество лежит в (п — р)-мерной плоскости $п_р, определяемой жесткими неравенствами, Пусть нумерация неравенств такова, что om-p+i, ( ат — строки коэффициентов жестких неравенств. Мы можем решить систему уравнений

а,х = Ь,ч i = m — р + 1, ..., т, относительно р переменных. Пусть номера этих переменных п — р + 1, ..., п. Подставим эти переменные в неравенства с номерами $5 т— р и в выражение для целевой функции. При этом оставшиеся (линейно зависимые) жесткие неравенства будут выполнены тождественно, а нежесткие неравенства примут вид

а‘х 5$ Ь1,

где х — +1 ... хя-р И.

Ограничение целевой функции на плоскости ^_р будет линейной функцией

ф (X) = СХ + /

с постоянным членом /. Функция ф постоянна на е+ тогда и только тогда, когда строка коэффициентов с = II г15 ..., £„^11 равна нулю, Поэтому мы считаем, что с += 0.

Пусть х0 — внутренняя точка многогранного множества а+, С учетом жестких неравенств точка х0 определяется столбцом х0, состоящим из первых п — р элементов столбца х0. Рассмотрим луч

х = ЗС0 — сТ1)

где / — параметр, принимающий неотрицательные значения. Для любого t = 1, ..., tn — р имеем а‘х0 "> Ь‘ и

а‘х = а‘хй — а* с* I*

Если а1ст ^ 0, то все точки луча удовлетворяют неравенству а1х > Ь1. Если же а'ст > 0, то неравенство а'х ^ 0 выполнено для тех точек луча, которым соответствуют значения параметра t /;, где

4 atxo

а1 с

Очевидно, что все t, > 0. Пусть точке х соответствует положительное значение параметра, не большее чем все t,. Такая точка лежит в аУ?, т. е. является допустимой точкой.

Вместе с тем при / > 0

с (х0 — cTf) = схй — ccTt<_ сх0,

и, следовательно, в точке х0 не достигается минимум сх + /, а тем самым и минимум функции ф.

Из доказанного нами предложения следует, что минимальное значение на множестве дУ? может достигаться только в точке какой-либо его грани е/?'. Но каждая грань — также выпуклое многогранное множество, к которому применимо то же предложение: если функция не постоянна на грани д^', то минимальное значение может достигаться только в точке ее грани е^”. Последовательно применяя эти соображения к граням все меньших размерностей, мы приходим к следующей теореме.

Теорема 2. Решения задачи линейного программирования (3) заполняют некоторую грань многогранного множества, определяемого системой ограничений. Решение единственно тогда и только тогда, когда эта грань является вершиной.

Благодаря неравенствам х* ^ 0 ранг матрицы системы (1) равен п, и многогранное множество, определяемое системой (1), имеет вершины. Значит, имеет вершины и любая его грань. Поэтому, как и утверждалось в теореме 1, в любом случае, если задача разрешима, одним из ее решений будет вершина.

Двойственная задача. С задачей линейного программирования (3) может быть связана другая задача, называемая двойственной задачей. Она состоит в нахождении максимума линейной функции

ф(и) = ub,

определенной на пространстве строк длины т при условии, что аргумент и принадлежит выпуклому многогранному множеству, определяемому ограничениями

-«^0, иА^с.(4)

Таким образом, двойственная задача коротко может быть записана так:

u^O, иА^с, ub-г max.(5)

Связь между задачами (3) и (5) взаимна, т. е. задача, двойственная для (5), эквивалентна задаче (3). В самом деле, чтобы построить

двойственную для задачи (5), последнюю надо преобразовать к виду (3). Для этого умножим матрицу Л, столбец b и строку с на —1 и запишем и в виде столбца ит. Мы получим

аг^0, — Атит^ — ст, — bTur-> min (5')

(нахождение минимума —ф («) равносильно нахождению максимума гр («)). Двойственная для этой задачи имеет вид

у^О У(—А7)^ — Ьт, у{—f7)->max.(3')

Заменяя у на хт и изменяя знаки у —А7, — Ьт и —сг, мы приведем (3') к виду (3).

Предложение 2. Если х и и — допустимые точки задач (3) и (5), то

ub ^ сх.(6)

При этом, если для каких-то допустимых точек хй и и° выполнено сх0 = и°Ь, то х0 и и° являются решениями задач (3) и (5) соответственно.

Доказательство. В силу неотрицательности х и и имеем

ub^uAx^cx.

Кроме того, для любой допустимой точки задачи (3) из доказанного неравенства следует

сх ^ и°Ь = сх0.

Поэтому сх0 — наименьшее из значений сх на допустимых точках. Аналогично, для любой допустимой точки задачи (5)

ub ^ СХо = и°Ь.

Это означает, что и°Ь — наибольшее из значений функции ub на допустимых точках.

Следующая теорема носит название теоремы двойственности.

Теорема 3. Если исходная задача (3) имеет решение хп. то двойственная ей задача (5) также имеет решение и0, и тогда СХ» = и°Ь."

Если в исходной задаче целевая функция не ограничена снизу, то в двойственной задаче система ограничений несовместна.

Доказательство основывается на предложении 13 § 2, согласно которому из двух систем неравенств

х^О, Ax^b, cx<f(7)

и

«^ 0, и А ^ с, ub^f(8)

совместна одна и только одна система.

Неограниченность снизу функции сх на многогранном множестве (1) означает, что система (7) совместна при любом /, и еле-

довательно, система (8) несовместна, каково бы ни было /. Допустим, что задача (5) имеет допустимую точку и, и положим / = ub. Тогда и окажется решением системы (8) для этого 7, что противоречит предположению. Таким образом, задача (5) не имеет допустимой точки, и второе утверждение теоремы доказано.

Докажем первое утверждение. Если задача (3) имеет решение х0, т. е. схо — минимальное значение функции сх на многогранном множестве (1), то система (7) несовместна при / < гх0, и следовательно, система (8) совместна для таких значений /. Наоборот, для / ^ схй система (7) совместна, и следовательно, (8) противоречива. Отсюда мы видим, что системы ограничений обеих задач совместны. Кроме того, существенно, что для каждой из систем (7) и (8) найдется такое значение /, при котором эта система совместна.

Разобьем все множество вещественных чисел на два класса И и ЧУ. К верхнему классу % отнесем те числа /, для которых совместна система (7), а к нижнему классу ЧУ — те, для которых совместна система (8). Мы видели, что оба класса не пусты и каждое число принадлежит одному и только одному классу. Докажем, что каждое число из класса И больше любого числа из класса ЧУ. Действительно, пусть /' ^/" и при f = f совместна система (7), а при f = f" совместна (8). Но из ex <J' следует cx<.f", и потому система (7) совместна и при f — f", что противоречит сделанному предположению.

Согласно принципу Дедекинда (ср. Кудрявцев [16], т. I, стр. 18), построенное нами разбиение на классы определяет единственное число /0, которое не больше любого числа из класса И и не меньше любого числа из класса ЧУ. Само число /0, вообще говоря, может принадлежать любому из классов. Рассмотрим обе возможности.

Пусть fn еЧУ. В этом случае найдется такая точка и1, что

и1 0, и1 Ас, и>Ь 5= /0.

Если ulb>f0, то u^b е U, и найдется такая точка х, что х^О, Ах^Ь, сх-Си^Ъ.

Это противоречит неравенству (6). Следовательно, u^b = f0.

С другой стороны, система (7) с числом /0 противоречива, и потому для решения Xi задачи (3) выполнено cxi ^ f0; Докажем, что здесь обязательно имеет место равенство.

Действительно, пусть cxi > /о- Тогда fXi е U, и система

х^О, Ах^Ь, сх<сх\ '

совместна. Это означает, что значение функции схг не минимальное. Таким образом, мы показали, что

u1b=fo = cxi.

Рассмотрим теперь случай ^ е 2Z. В этом случае найдется точка Xi, для которой

Xi2s0, Axy^b, cx1<f0.

Последнее неравенство показывает, что сХг е ^, и потому найдется точка и1, удовлетворяющая системе неравенств

ti12s 0, «М^С, игЬ^СХ1.

Согласно (6), последнее неравенство может иметь место, только если выполнено равенство

ихЬ ~СХ1.

Итак, какому бы классу ZZ или ^ число ^ ни принадлежало, найдутся такие точки хг и и1, что СХг = иЧ). Из предложения 2 следует, что они являются решениями задач (3) и (5) соответственно. Далее, очевидно, что, каковы бы ни были решения х0 и и0, имеют место равенства cxi = сх0 и ^Ь = и°Ь, Отсюда следует, что для любых решений выполнено равенство сх° = и°Ь. Это заканчивает доказательство теоремы.

В силу взаимности связи двойственных систем из теоремы 3 следует, что в случае, когда функция ub не ограничена сверху на многогранном множестве (4), система ограничений (1) задачи (3) несовместна.'

Необходимо отметить, что обратное утверждение для этого (и для второго утверждения теоремы 1) несправедливо. Из несовместности системы ограничений одной из задач не вытекает неограниченность функции для другой: обе системы ограничений могут быть несовместными, как показывает следующий пример.

Для задачи

._„_ х1 — 2х21,.

х12s 0, х2 2s О, ,„— х2->тш

-х1 + 2х2^0, двойственной является задача

„„ Ui — «2^0,

«1^0, щ2э0,Ui->max.

-— 2щ + 2u2— 1,

Легко видеть, что в каждой из задач ограничения несовместны.

Получим одно важное следствие теоремы 3. Если х0 и и” — решения пары взаимно двойственных задач (3) и (5), то из теоремы 3 вытекает, что

аеЬ = «°Ах0.(9)

Действительно, имеют место соотношения и°Ь =^ «Мх0 ^ fxo, и й°Ь = схй. Равенство (9) можно переписать в виде ы°у = 0, где у = Ах0 — Ь.'

Элементы строки мА и столбца у неотрицательны. Это означает, что в выражении'

и°у = «V + игу2 +... + и^у”1

все ненулевые слагаемые положительны. Поэтому из и°у = 0 следует, что каждое слагаемое равно нулю.

Пусть а^ — элементы матрицы А, а Ь‘ их* — элементы столбцов b и х0. Тогда

, У'= S ^кхй-Ь1' £ ="

к = 1

и мы приходим к следующему предложению.

Предложен и еЗ. Если х0 и и0 — решения пары взаимно двойственных задач (3) и (5), и при некотором номере t е [1, т] выполнено

£ ауо>Ь\ к = 1

то 1-я координата и} точки и° равна нулю. Наоборот, если «/ > О, то

2 а^й = Ь'.

6 = 1

Заметим, что одновременное обращение в нуль и/ и yf возможно.

Аналогично может быть доказано

Предложение 4. Для решений х0 и и0 пары взаимно двойственных задач из

S иЭД<с,

Л = 1

следует х1 = 0, а из х' > 0 следует

5 и»а‘ = сг i= 1

Представим себе, что элементы столбца b в (1) являются независимыми переменными. Рассмотрения такого рода существенны для исследования влияния изменений условий задачи на решение. Изменения могут быть связаны как с изменением самой задачи, так и с ошибками в измерениях входных данных.

Столбец b не входит в систему ограничений двойственной задачи, и вершины и°, .... ир многогранного множества допустимых точек этой задачи не зависят от Ь. Если мы немного изменим Ь, то измененная целевая функция двойственной задачи будет достигать своего максимального значения в той же вершине я®, что и старая функция. Покажем это, оценив возможное изменение 6.

CTBOCTBOНам нужно, чтобы при всех 1 = 1, .... р выполнялось неравен-

CTBO

CTBO

ц° (6 4- Аб) и1чь + А»),

ИЛИ

(«° — «О Ь;=Ли‘ — и0} ^Ь.'

Здесь левая часть неотрицательна, поскольку и0 — решение исходной задачи. В силу неравенства Коши — Буняковского имеем («' — ы°) Аб II и‘ — и0 || • || Аб ||. Поэтому нужное нам неравенство будет выполнено при всех I, если

|| Аб J ^ min(10)

Отсюда следует

Предложение 5. При изменениях столбца б, не превосходящих правую часть формулы (10), решение и° двойственной задачи (5) остается неизменным.

В силу двойственности отсюда вытекает неизменность решения задачи (3) при малых изменениях коэффициентов с целевой функции ф.

Воспользуемся предложением 5 для того, чтобы получить следующее свойство решения двойственной задачи.

Минимальное значение сх0 функции сх задачи (3), естественно, зависит от б, так как с изменением б меняется множество точек, на котором ищется минимум. При этом мы знаем вид этой зависимости:

сх0 = и°Ь.

Нельзя сказать, что эта зависимость линейна, так как при значительном изменении б строка и0 изменяется. Но в некоторой окрестности столбца б (за исключением конечного числа таких столбцов) функция является линейной. Укажем, что одномерным аналогом такой функции является функция, график которой — ломаная линия.

С учетом этого мы можем утверждать, что

там, где эти частные производные существуют.

Допустим, что некоторая компонента и” решения -и0 двойственной задачи равна нулю. Равенство и” = 0 останется справедливым и после замены столбца б на близкий столбец б'. Следовательно, частная производная от сху по Ы равна нулю в некоторой окрестности исходного значения Ь‘. Таким образом, равенство и^ = 0 означает, что сх0 не меняется при малых изменениях Ь‘.

С другой стороны, согласно предложению 3, и? обращается в нуль, если для решения х0 исходной задачи (3) i-e ограничение выполнено как строгое неравенство. Мы получили

Предложение 6. Минимальное значение функции ф не меняется при малых изменениях i-го элемента столбца свободных членов тогда и только тогда, когда равна нулю i-я компонента

решения двойственной задачи. Для этого достаточно, чтобы 1-е ограничение выполнялось для х0 как строгое неравенство.

Функция Лагранжа. Еще одна интерпретация решения двойственной задачи связана с функцией

L (х, и) = сх + и ф — Ах), (12) составляемой для задачи (3). Здесь и — строка длины т, и L (х, и), таким образом, есть функция от т + п переменных. Она называется функцией Лагранжа. Перегруппировав слагаемые, мы можем представить ее в виде

1Дх, и) = иЬ-\-ф — иА)х. (13) Отсюда видно, что для пары взаимно двойственных задач функция Лагранжа одна и та же.

Предложение 7. Пусть х0 и и0 — решения взаимно двойственных задач (3) и (5). Тогда точка (х0, и0) в ^т+п является седловой точкой функции Лагранжа, т. е. для любых х> Ou и$а О имеют место неравенства

L(x0, u)^L(x0, u°)^L(x, и0). (14)

Доказательство. При любом неотрицательном и из Лх0 5= b следует и ф — Лх0) ^ 0. Но в силу равенства (9) «° ф — Лх0) = 0. Поэтому

сх0 + и ф — Ах0) «С схо + и°ф — Ахо),

и левое из неравенств (14) доказано. Правое неравенство доказывается аналогично с использованием выражения (13) и предложения 4. Из приведенного доказательства вытекает, что

L (х0, и0) = схй = и°Ь.

Функция Лагранжа известна из курса математического анализа (см. Кудрявцев [16], т. II, стр. 96), где она строится для отыскания условного экстремума функции / (х) при ограничениях вида <pz (х)= = 0, i = 1, ..., т, и имеет вид

Цх, Х) = /(х)+ 2 М,(х).

i = 1

Переменные Ку,..., Хт называются множителями Лагранжа.

В нашем случае ограничения являются неравенствами, и переменные подчинены условию неотрицательности. Теорема, которая распространяет метод Лагранжа на задачи с ограничениями более общего вида, называется теоремой Куна — Таккера. С ней можно познакомиться, например, по книге Карманова (14).

Доказанное нами предложение 7 представляет собой теорему Куна — Таккера для случая линейной функции при ограничениях вида (1). Мы видим, что переменные двойственной задачи играют роль множителей Лагранжа по отношению к исходной задаче.

Симплекс-метод.

Введение. В этом параграфе мы познакомимся с симплекс- методом. Это основной из конечных методов решения задач линейного программирования, т. е. из таких методов, которые дают в принципе точный результат за конечное число операций. Именно эффективность симплекс-метода обеспечила широкую популярность линейного программирования. Слово «симплекс» на латыни означает «простой». Это значение слова представляется наиболее подходящим для характеристики метода, хотя и нет уверенности, что его авторы имели в виду именно это значение.

Основная идея, лежащая в основе симплекс-метода, весьма прозрачна. По теореме 1 § 3 минимум целевой функции <р достигается в одной из вершин многогранного множества, определяемого системой ограничений. От одной вершины к другой мы можем переходить по ребру. При этом значение целевой функции ср будет убывать, если проекция ее градиента на ребро (или, иначе, производная ср по направлению ребра) будет отрицательна. Пусть мы нашли некоторую вершину, из которой исходит такое ребро, что проекция градиента на него отрицательна. Имеются две возможности:

Ребро является отрезком. В этом случае второй конец отрезка — вершина, в которой ф принимает меньшее значение, чем в исходной вершине.

Ребро является лучом. Тогда на ребре найдутся точки со сколь угодно малыми значениями ср, и задача неразрешима ввиду неограниченности функции снизу.

Допустим, что задача имеет решение. Так как после прохождения каждого ребра значение ф убывает, мы не можем вернуться в уже пройденную вершину, а всего вершин конечное число. Поэтому, через конечное число шагов мы придем в ту вершину, где достигается минимум. Эта вершина характеризуется тем, что проекции градиента на все исходящие из нее ребра являются неотрицательными.

Важное достоинство симплекс-метода состоит в том, что все вычисления, необходимые для реализации описанной схемы, легко осуществляются в процессе преобразования некоторой матрицы по алгоритму, близкому к методу Гаусса.

Из других методов линейного программирования следует упомянуть итерационные методы, которые в последнее время интенсивно совершенствуются и становятся все более употребительными. Из-за недостатка места мы не сможем остановиться на этих методах.

Каноническая форма задачи. Симплекс-метод применяется к задачам так называемой канонической формы. Именно, система ограничений должна иметь вид •

Си^Ч-•• •+ а^х" = Ь\

.• х^Ох”^0.. . (1)

■' а^х1 + • • • + ятпх" = Ьт, ■

При этом предполагается, что свободные члены неотрицательны,Ь^О, .... Ьт^0,

а строки коэффициентов линейно независимы. Из последнего предположения, -в частности, следует, что т ^ п.

В системе (1) имеется т независимых жестких неравенств и п (также независимых) неравенств вида х’ ^ 0. Таким образом, если система совместна, она определяет выпуклое многогранное множество размерности s^n — т, имеющее вершины.

В общей постановке задача может и не иметь канонической формы, и тогда симплекс-метод непосредственно неприменим. Однако за счет увеличения числа переменных каждая задача может быть сведена к эквивалентной ей задаче канонического вида. Эквивалентность здесь понимается в том смысле, что по решению канонической задачи легко может быть указано решение исходной задачи.

Предложение 1. Любая задача линейного программирования может быть сведена к задаче канонического вида.

Доказательство. Пусть система ограничений исходной задачи имеет вид

аих14-...4-а1„х"2ь61,

(2)

С^т!^ *Ф • • • *Ф^тп^П 5^ №.

Сначала преобразуем неравенства в равенства,

йцХх-V .••A-a.inxn — у* = Ь‘, /=1, ..., т,

где у* — неотрицательные переменные. (Конечно, если в систему (2) входит неравенство вида х1 ^ 0, то нет нужды преобразовывать его в х* — у1 = 0, у! ^ 0.) После этого умножим на —1 каждое из равенств, имеющее отрицательную правую часть.

В полученной системе вместо каждой из переменных, не подчиненных условию неотрицательности, введем две новые неотрицательные переменные, связанные с ней равенством

xi = г! — zn*>.

Теперь, если отбросить линейно зависимые уравнения, система отличается от системы (1) только обозначениями коэффициентов и переменных.

Для простоты записи предположим, что в исходной системе не содержалось неравенств вида х^ 0 и было добавлено т дополнительных переменных у1. Пусть || х1, .... хл \\Г—допустимая точка исходной задачи. Положим г1 = хЛ znJr’ = 0, если х^ ^ Q, и zi = 0, zn"i = —х), если х) < Q. Обозначим разности

(аах^.-.+а^х”) —6'

через у*. Тогда На1,..., z^, у1, ..., у™ ||г —допустимая точка канонической задачи. Наоборот, по допустимой точке канонической

задачи легко построить допустимую точку исходной задачи. Поэтому системы ограничений той и другой задачи совместны или несовместны одновременно.

Для целевой функции ф(х) = бух1 + ... + спхп исходной задачи определим соответствующую функцию для канонической задачи:

Ф (г) = CjZ1 +... + спгп — схгп*х— с.гп2гп + Оу1 +... + Oz/”1.

Если точке г = ||г1, ..., г2", у1, ..., z/m||7' сопоставлена точка

X = Р (г) = || г1 — г"+1, ..., г” — г2” ||Г, то очевидно, что ф (г) = ср (х).

Множества значений обеих функций совпадают, и ф (х) ограничена снизу тогда и только тогда, когда ограничена снизу ф (г). Если минимальное значение ф (г) достигается в точке г0, то то же значение ф(х) принимает в точке х0 = Р (^о), и оно также минимальное. Предложение доказано.

Следует сказать, что в погоне за простотой и общностью при доказательстве мы не скупились на дополнительные переменные. Возможны другие способы сведения задачи к канонической, при которых число переменных возрастает не так сильно или даже убывает. Вот один из них.

Пусть система (2) имеет матрицу коэффициентов ранга п и первые п неравенств имеют линейно независимые правые части. Введем новые переменные

y/ = a/iX1 + ... + a/„x” — b1, j=\п.

Тогда первые п неравенств примут вид у1 ^ О, ..., уп 5? 0. В оставшиеся неравенства подставим вместо х1, ..., хп их выражения через новые переменные и затем преобразуем их в линейно независимые равенства с неотрицательными свободными членами так же, как это было сделано при доказательстве предложения 1.

Имеются и другие приемы преобразования ограничений, но метод, примененный при доказательстве, очень широко применяется благодаря его простоте.

Далее в этом параграфе будет предполагаться, что решается каноническая задача линейного программирования

"Ах = Ь, х^О,

.3)

сх ->- тш при условии

Rg А = т, b ^ 0.

Задача, двойственная канонической. Чтобы построить задачу, двойственную задаче (3), мы перепишем (3) в виде

'х^О, Px^aq, cx->-min,

« I СИМПЛЕКС-МЕТОД« I СИМПЛЕКС-МЕТОД2R0

« I СИМПЛЕКС-МЕТОД

« I СИМПЛЕКС-МЕТОД

где матрица Р и столбец q имеют следующее клеточное строение:

Тогда двойственная задача запишется, согласно (5) § 2, в виде уР^с, у^О, у6->тах.

Здесь у —строка длины 2п, которую мы запишем как соединение двух строк у1 и у2 длины п каждая: у = Цу1, у2 ||. Это позволит записать двойственную задачу подробнее:

(у1 — у2) A ■;: с, у^О, (у1 —у2) b -> шах.

Помимо условия неотрицательности, строки у1 и у2 входят сюда только в виде разности у1 —у2, которую мы обозначим через и. Строка и не обязана быть неотрицательной. Если Цу1, у2 || удовлетворяет системе ограничений, то и удовлетворяет системе и А <1 с.

Обратно, если для некоторой строки и выполнено иА ^ с, то нетрудно построить такую строку у длины 2и, что уР $^ с и у ^ 0. Поэтому задача, двойственная канонической задаче (3), сводится к задаче "

иА^с, ub ->тах,(4)

которую мы и будем называть двойственной задаче (3).

Задача (4) не является канонической. Мы придадим ей вид, более близкий к каноническому, если введем п неотрицательных переменных г1, ..., zn, записываемых в столбец Z, и превратим ограничения этой задачи в равенства

Ат ит -Vz = cT, Ьт ит ->тах.(5)

Так как переменные и не подчинены условию неотрицательности, не имеет смысла добиваться неотрицательности свободных членов.

Вершины и ребра многогранника канонической задачи. Вершины многогранного множества, задаваемого системой линейных неравенств, определяются обращением в точные равенства каких- либо п независимых неравенств системы. Система (1) содержит m равенств'

aix1+••• + акх4 = Ь1, (6)а^х1 + • • • + о^х” = bm.

Поэтому в каждой вершине должны обращаться в равенства по меньшей мере п — m из неравенств х1 ^ 0, ..., х” ^ 0. Это означает, что каждая вершина имеет по меньшей мере п — m нулевых координат.

Вершины, имеющие больше чем п — m нулевых координат, называются вырожденными. Если такая вершина существует, то

и многогранное множество и вся задана, также называются вырожденными.

Примером вырожденного многогранного множества может служить отрезок, задаваемый системой неравенств

х1 + х2 + х3 = 1,

х1 + ух2 + 2х3=1,'

х^ 0.

Конец N (1, 0, 0) этого отрезка — вырожденная вершина (рис. 5). Пример невырожденного многогранного множества дает система неравенств

х1 + х2 + х3 = 1,

у х1 + 2х2 + 2х3 = 1.

х ^ 0,

которая задает отрезок MN на рис. 6. Сравнение этих примеров показывает, что вырожденность — свойство не многогранного множества, а его расположения по отношению к системе координат.

Предложение 2. Для каждой вершины выпуклого. многогранного множества, определяемого системой (1), найдутся т линейно независимых столбцов матрицы А, в число которых входят все столбцы, соответствующие положительным координатам данной вершины.

Доказательство. Для простоты записи, предположим, что рассматриваемая вершина определена обращением к нуль последних п— т координат и рассмотрим квадратную матрицу порядка п; . -

где А—матрица системы (1), а Е— единичная матрица порядка п — т. Матрица U состоит из строк, соответствующих неравенствам, обращающимся в равенства для данной вершины. По предположению эти неравенства линейно независимы, и следовательно, детерминант матрицы не равен нулю. Отсюда вытекает, что отличен от нуля минор порядка т матрицы А, который расположен в первых т столбцах. Это и заканчивает доказательство.

Столбцы, о которых идет речь в предложении 2, являются столбцами базисного минора матрицы А. В линейном программировании пг линейно независимых столбцов матрицы А называются просто базисом. Координаты вершины, соответствующие базисным столбцам, называются базисными.

Соответствие между базисами и вершинами можно описать следующими утверждениями: а) Каждой вершине соответствует хоть один базис. Если вершина вырождена (и только в этом случае) ей может соответствовать больше одного базиса.

б) Базису не обязательно соответствует вершина. Если мы положим небазисные переменные равными нулю и найдем базисные из системы, то столбец X' высоты т, составленный из значений этих переменных, окажется равным Aivb, где А; — подматрица матрицы А, состоящая из базисных столбцов. Итак, базису будет соответствовать вершина, если

х1 = АГЬ ^ О,

и только в этом случае. Базис, которому соответствует вершина, называется допустимым.

Существование вырожденных задач вызывает существенные трудности в теории симплекс-метода. При вычислениях по симплекс- методу должны приниматься специальные меры, без которых алгоритм может оказаться неэффективным для вырожденной задачи.

Ниже мы будем предполагать задачу невырожденной, отложив обсуждение вырожденных задач до п. 9.

Ребро многогранника, исходящее из вершины х0, может быть определено параметрическим уравнением

л: — Xq -ф tl,(7)

где / — направляющий вектор, a t —неотрицательный параметр. Для ребра-отрезка / е [О, Г], для реб^а-луча / е [0, + оо).

Так как для всех точек многогранника выполнены равенства Ах = Ь, направляющий вектор ребра удовлетворяет условию

Л/ = 0.(8)

Как одномерная грань многогранника ребро определяется обращением в точные равенства п — 1 неравенств системы (1), а значит, у всех точек ребра должны равняться нулю одни и те же /г —т.— — 1 координат. Пусть / = {ij, .... im} — набор номеров столбцов базиса, соответствующего вершине х0. Так как задача предполагается

невырожденной, этот базис однозначно определен и х' > 0 для всех I е /.

По этой причине у точек ребра может отличаться от нуля каждая из координат х*, < е /, и, кроме них, еще одна координата, номер которой мы обозначим через к. Остальные координаты заведомо равны нулю, и потому

// = 0, j^I, j^k.(9)

Учитывая эти равенства в формуле (8), мы находим

AtV Д-ак1к = О,

где Л/ — матрица, составленная из столбцов матрицы А с номерами из I, a U — столбец высоты т, составленный из координат /‘, i е /. Отсюда

U= — 1кАГак.(10)

Подстановка значений (9) в параметрическое уравнение (7) дает-.

х1 = xUl’t,

xk = lkt,(11)

. х7 = 0, i^I, j^k.

Теперь мы можем определить, является ребро лучом или отрезком и чему равно в последнем случае значение Т, соответствующее второму концу отрезка. Отметим, во-первых, что

1к>0.(12)

Действительно, при /,г < 0 мы имели бы хк < 0 при всех / > О, что невозможно, а при 1к = 0, согласно (10), мы имели бы / = 0. Собственно, требование 1к > 0 фиксирует направление вектора /, определенного формулами (9) и (10) с точностью до множителя, так, чтобы этот вектор был направлен вдоль ребра в ту сторону, где расположена вторая вершина (если ребро — отрезок) или по лучу (если ребро — луч).

При /7^0, очевидно, что формула (11) при всех t^0 дает неотрицательное решение системы (6). Это означает, что рассматриваемое ребро является лучом.

Пусть среди элементов столбца V имеются отрицательные. Обозначим через Г множество тех i, для которых /‘ < 0. Рассмотрим луч, .определяемый формулами (11) при t ^ 0. Координаты х‘, i е Г, текущей точки этого луча меняют знак, каждая при своем значении t. Первой изменит знак координата с номером s, для которого минимально отношение —xyV, 1е Г. Она обратится в нуль при значении t, равном

0 I 0./ | лк

Это и будет значением параметра, соответствующим второй вершине Xi на рассматриваемом ребре. Для этой вершины мы имеем х® = 0, а х* > 0. Поэтому базис, соответствующий вершине хп получается из базиса вершины х0 заменой столбца с номером s на столбец с номером й. Если случится, что минимум (13) достигается хотя бы для двух значений i = slf s2, то вершине Xi соответствуют два базиса и она является вырожденной. Мы предполагаем, что этого не происходит.

Заметим, что во всех предыдущих рассуждениях номер к был произвольным номером, не входящим в I. Поэтому из произвольной невырожденной вершины исходит п — т ребер..

Как известно (см. Кудрявцев, т. I, § 20), для дифференцируемой функции ф от п переменных производная по направлению, определяемому вектором /, есть проекция градиента

gradq> = 114^-, ь у ’’ дхп у

на это направление, т. е.

У(14?

дх* ’' '

< = |

если вектор I нормирован так, что сумма квадратов его компонент равна 1. Значение ф (х) функции убывает при смещении в направлении /, если выражение (14) отрицательно. Знак этого выражения не зависит от нормировки /.

Мы рассматриваем линейную функцию ф (х) = с^х1 + ...+ с„х", для которой градиент постоянен

gradф = ]|ci, ..., с„|,

и проекция его на ребро в каждой точке ребра одна и та же. Мы имеем, согласно (9) и (10),

5 Cil1 = cd1 + ск1ь = /" (с* - ctА Та„\ i = i.

Здесь Ci и V — строка и столбец, составленные из тех компонент с и I, номера которых принадлежат I. Так как /* > 0, знак проекции градиента на рассматриваемое ребро совпадает со знаком числа

^ = ch — сЛТак.(15)

Естественно, что числа Аа Для всех к ^ I играют большую роль в симплекс-методе. Они называются оценками замещения, соответствующими базису, который определяется множеством номеров I.

Шаг симплекс-метода. Теперь ясно, какие вычисления нам надо проделать, чтобы перейти из данной вершины многогранника в соседнюю, уменьшив при этом значение целевой функции. Пусть

исходная вершина задана нам указанием множества I номеров столбцов соответствующего ей базиса.

Первое, что мы должны сделать, это вычислить оценки замещения (15) для всевозможных h ф I, Если все они неотрицательны, данная нам вершина представляет собой решение задачи, и нам остается только вычислить ее ненулевые координаты по формуле

х^А^Ь(16)

и значение функции

■ф (х) = CiX1

для получения ответа.

Если среди оценок замещения имеются отрицательные, отыскиваем максимальную по модулю из отрицательных оценок и обозначаем ее номер через к. Столбец с номером к будет введен в базис.

Далее, находится столбец

У — АТа.(10')

(нормировку направляющего вектора ребра считаем такой, что Г' = 1). Если все элементы этого столбца неотрицательны, задача не имеет решения по причине неограниченности целевой функции снизу.'

Если среди элементов столбца V имеются отрицательные, то находим минимальное отношение (13) и номер s е /, для которого отношение минимально. Столбец с номером $ должен быть исключен из базиса. Теперь сформировано новое множество /', содержащее номера столбцов базиса новой вершины, и шаг симплекс-метода закончен.

Основная трудность при этих вычислениях состоит в нахождении матрицы А? (если, конечно, размеры матрицы не столь велики, что, например, простой перебор для поиска минимального отношения (13) представляется затруднительным). Можно заметить, что как таковая Ду1 не нужна. Нужны произведения C/Ду1, А^Ь, —AVcih, которые можно найти решением систем линейных уравнений ^А; = Ci, AjX1 = Ь и Ail' + ак = 0. Для их решения достаточно один раз найти L^-разложение матрицы Аь Такой подход реализован, например, в программе, содержащейся в книге Уилкинсона и Райнша [34].

Расчеты по симплекс-методу могут быть организованы на основе элементарных преобразований, производимых со строками матрицы

или, в более подробной записи, Hi - ап

т — " /

а" ... a™ bm

-" с, ... св 0

Эта матрица (как в исходном виде, так и после преобразований) называется симплексной таблицей. Если задано множество индексов исходного базиса I, то элементарными преобразованиями строк матрицы Т мы добиваемся, чтобы ее столбцы с номерами из / превратились в первые т столбцов единичной матрицы порядка т + 1- Как легко видеть, это равносильно умножению слева на матрицу

Л71 О-МТ 1Л71 О-МТ 1Е О II Ау1 О

Л71 О

-МТ 1

Л71 О

-МТ 1

— С7 * II ® * '

Обозначим через Aj подматрицу матрицы А, составленную из небазисных столбцов, а через Cj—строку из тех коэффициентов с,, для которых / ^ /. Если для ясности записи считать, что базисные столбцы расположены на первых местах, мы можем написать

Ay1 О Л, Aj b ciAT * I ci cj оAy1 О Л, Aj b ciAT * I ci cj ор Ay'Aj ' Ay'b

Ay1 О Л, Aj b ciAT * I ci cj о

Ay1 О Л, Aj b ciAT * I ci cj о

|° cj-cia71Aj -ciATb "

Очевидно, что матрица VT содержит всю необходимую информацию. Заметим, что элемент в правом нижнем углу этой матрицы только знаком отличается от значения целевой функции в рассматриваемой вершине.

Важное достоинство этого способа состоит в том, что при переходе к следующей вершине нет необходимости снова преобразовывать матрицу Т, а можно принять VT за исходную и преобразовывать ее. Действительно, система ограничений задачи с матрицей VT эквивалентна системе ограничений исходной задачи, а целевая функция получена из исходной функции ср прибавлением выражения, тождественно равного нулю на многогранном множестве, определяемом ограничениями.

Отмеченное обстоятельство существенно сокращает вычисления, так как базис за один шаг изменяется на один столбец, и для матрицы VT потребуются элементарные преобразования, соответствующие только тому столбцу, который вводится в базис.

Недостаток метода, основанного на преобразовании таблицы, состоит в том, что в процессе преобразований вычисляются все произведения Ayxaj, j^l, в то время как прямой необходимости в этом нет. Действительно, произведение ATAj не нужно. Нужны (cjAy1) Aj и Ayxak для столбца ак, вводимого в базис.

Для повышения эффективности расчетов по симплекс-методу можно преобразовывать однажды найденную матрицу А 7* в матрицу Л 7?, соответствующую следующей вершине. Это не сложно благодаря тому, что А,- получается из Aj изменением одного столбца. Здесь можно использовать так называемую элиминативную форму записи обратной матрицы, которая находит применение не только при реализации симплекс-метода, но и во многих численных методах линейной алгебры.

Элиминативная форма записи обратной матрицы. Нам придется вспомнить получение L (/-разложения методом Гаусса, изложенное в § 3 гл. III. Пусть В — невырожденная квадратная матрица, строки и столбцы которой упорядочены так, чтобы главные миноры В были отличны от нуля. На стр. 139 были введены матрицы S* такие, что

6 = 0, ..., п,

где В° = В, В1, ..., В^ = U — последовательность матриц, получаемых из В методом Гаусса. Каждая из матриц Sh лишь одним столбцом отличается от единичной матрицы и может быть записана в виде

$л = Е + (o’* — е^ е*.

Здесь в* — столбец единичной матрицы, а элементы столбца о* выражаются через элементы Д^-1) по формулам

'о'г = 0, 1<А,

Для запоминания Sk достаточно записать элементы столбца о* с номерами i 2а ^, так как произведение Sh на произвольный столбец | легко можно найти, используя только эти элементы. Действительно,

s*| = | + (о* - е*) ej| = I+(^ - е*) V.

Аналогично можно вычислить произведение произвольной строки на S*.

Последовательность операций обратной подстановки в схеме единственного деления можно осуществить, умножая U на матрицы Tjn / = п, .... 2. При (> / элемент и^ матрицы U равен Ь$. Поэтому / — 1 элементарных операций, превращающих /-й столбец U в /-й столбец единичной матрицы, эквивалентны умножению U на матрицу

Т, = Е + T/ef,'

где столбец т/ имеет элементы

т< = —Ь<о, i>j,

т' = 0,i</.'

(Напомним, что диагональные элементы U равны единице.) Так же, как и для матриц 8*, произведение Т^ может быть вычислено по элементам ту при помощи лишь небольшого числа арифметических операций:

Т^ = Н^ту.

Умножением на п — 1 матриц матрица U превращается в единичную:

Та ... TnU = Е.

Это означает, что

Уд ... TnSa ... SiB = E, или

B^ = T....TnSn...Sv

Такое разложение В-1 на множители называется элиминативной формой представления обратной матрицы (от слова «eliminate» — исключать). В это разложение входит п нижних треугольных матриц S» и п — 1 верхних треугольных матриц Т/. Подробнее об элиминативной форме и других формах представления обратной матрицы можно прочесть в книге Тьюарсона [32].

Элиминативная форма особенно удобна для обработки больших разреженных матриц. Такие матрицы часто встречаются в задачах линейного программирования.

Посмотрим, как изменится элиминативная форма матрицы В"1, если в В заменить /-й столбец на столбец Ь]. Через В мы обозначим матрицу, полученную в результате такой замены. При элементарных операциях со строками каждый столбец преобразуется независимо от других. Поэтому матрицы

Н = Т1+1 ... ТnSn ... SyB и

H = TI+1... TaSn... S1B

отличаются одна от другой только /-м столбцом. Пусть j-й столбец Н имеет элементы а', / = 1, ..., п. Чтобы превратить его в столбец в/, нужно умножить Н на матрицу

(17)(18)(17)(18)'[ —atlaj,'[ —atlaj,i = bi #= j.i = bi #= j.Tj = £ + х^, где Т/ — столбец с элементами

(17)

(18)

(17)

(18)

'[ —atlaj,

'[ —atlaj,

i = b

i #= j.

i = b

i #= j.

(Нетрудно проверить, раскладывая det Н по последним столбцам, что а’ #= 0.)_

Матрицы Т;Н и Т ,Н равны и потому приводятся к единичной матрице умножением на одну и ту же последовательность матриц Т2 ... Tj-v Мы видим, что элиминативная форма В"1 отличается от такой же формы В'1 заменой множителя Т; на множитель Th определяемый по формулам (17), (18), причем

a = Тj+i ... TnSn ... Sybj.

В литературе по линейному программированию описаны многие другие способы пересчета обратной матрицы при изменении базиса, но мы ограничимся этим достаточно простым и характерным примером.

Нахождение начального базиса. Мы уже многое знаем о сим- плекс-методе, но не можем пока применить его, так как не сможем найти никакой вершины, с которой можно было бы начать. Действительно, произвольно выбрав базис, мы не можем быть уверены, что базисные переменные, найденные по формуле (16), окажутся неотр и цательными.

Если начальный базис неизвестен заранее, то проблема его выбора решается за счет введения дополнительных переменных. Назовем переменную изолированной в некотором уравнении, если она входит в это уравнение с положительным коэффициентом, а ни в какое другое уравнение не входит. Мы можем сразу указать начальный базис, если каждое из уравнений системы (6) содержит изолированную в нем переменную. Именно, базисными можно считать столбцы, соответствующие этим переменным.

Изолированные переменные возникают, например, при преобразовании неравенств в равенства, но может при этом возникнуть и переменная, входящая в свое уравнение с коэффициентом —1.

Прием построения начального базиса состоит в том, что во все уравнения, которые не содержат изолированных в них переменных, добавляются специально вводимые изолированные переменные, называемые искусственными переменными.

Если мы ввели р искусственных переменных, мы перешли от выпуклого многогранного множества ^ в пространстве е%(1 к выпуклому многогранному множеству а^ в пространстве а^р+р. Множество а^ обязательно содержит хоть одну точку. В действительности оно имеет даже вершину, так как для определяющей его системы ограничений существует допустимый базис.

Для того чтобы найти вершину многогранного множества а^ (или убедиться в том, что оно пустое), рассмотрим так называемую М-задачу: на многогранном множестве е^ найти минимум функции

ф(х\ ..., х"+р) = <р (х1, ..., х”) + М (х”г1 + • ■ • 4-х”+р).

Здесь сумма искусственных переменных хл+1, ..., х”+р прибавлена после умножения на числовой множитель, по традиции обозначаемый через М. Ниже мы будем обозначать точки пространства е%п+р вадчеркнутыми буквами:

.... х”Г..... х”Г.x = Jx1, ..., xn, x”+1, ..., х”+р||т, а их проекции на е%п — теми же буквами без черты:

.... х”Г.

.... х”Г.

х = |х\

Точку х мы отождествим с

[х1, -••> х”, 0, ..., 0||г.

Могут представиться следующие возможности:

Л4-задача разрешима при некотором М и имеет решение Х-о, у которого все координаты х^+' (соответствующие искусственным переменным) равны нулю. В этом случае исходная задача разрешима, и х0 — ее решение.

Действительно, х6 удовлетворяет системе ограничений исходной задачи, и следовательно, х6 е е^. Кроме того, на функции ф и ф совпадают, и потому для каждого х из а^

Ф(х)^т1пф.(19)

Если для Хо здесь имеет место равенство, то, разумеется, значение ф (х0) минимальное на е^.

Существует достаточно большое М, при котором Л1-задача разрешима, но какое-либо ее решение х0 имеет отличную от нуля координату с номером, большим п. В этом случае многогранник пустое множество, и исходная задача не разрешима.

Действительно, если &^ — не пустое множество, то из разрешимости ТИ-задачи в силу (19) следует разрешимость исходной задачи и имеет место неравенство

min ф 5? min ф.(20)

Обозначим через 8 минимальную из положительных координат х^+( точки х0. Очевидно, что

ф (х0) 4- Me ^ ф (х^ = min ф.

Продолжим функцию ф на пространство е^л+р по формуле ф (х) =; = ф (х) и обозначим для краткости тшф и ттф через ф^ и ф^

соответственно. Из формулы (20) мы получаем

фд + Мв^ фд,

или

Итак, предположение о том, что о^ — не пустое множество, приводит к существованию верхней границы для числа М. Эту доказывает наше утверждение.

Из анализа случаев 1 и 2 следует, что при достаточно боль, том' М не может существовать двух решений /И-задачи х0 и х, таких, что х” + ‘ = О, i = 1, ..., р, но существует д^+'^О*

Остается последняя возможность:

M-задача неразрешима при достаточно больших М. В этом случае исходная задача также неразрешима.

Действительно, допустим, что исходная задача разрешима. Тогда разрешима и двойственная ей задача, т. е. существует строка и0 длины т, для которой и^А^с, и функция ub принимает максимальное значение и°Ь.

Для простоты записи будем предполагать, что искусственные переменные введены во все ограничения исходной задачи. Тогда задача, двойственная /И-задаче, формулируется следующим образом: найти строку и длины т так, чтобы ub достигало максимального значения и выполнялись ограничения иА =^ с и и;^ /И для всех t = 1, ..., т. Если М больше, чем максимальная координата и°, то и0 удовлетворяет системе ограничений двойственной /И-задачи, и эта система ограничений совместна. Функция ub, ограниченная на множестве решений системы иА^с, останется ограниченной и после добавления новых ограничений. Отсюда вытекает, что двойственная /И-задача разрешима, а следовательно, разрешима и /W-задача. Утверждение доказано.

Полученные нами оценки того, какое М. можно считать «достаточно большим», практически бесполезны. При использовании этого метода нахождения начального базиса расчеты организуются так, чтобы считать М большим, чем любое сравниваемое с ним число. Тогда при решении ЛЕзадачи А6 в формуле (15) при k> п будут положительными и большими остальных А*. Поэтому искусственные переменные будут первыми выведены из числа базисных. После того как некоторая искусственная переменная будет выведена из базиса, она вообще может быть исключена из рассмотрения.

Если нет оснований сомневаться в совместности системы ограничений исходной задачи, то с известной долей риска (впрочем, небольшой при некотором опыте) можно просто назначить в качестве М некоторое большое число. Если будет получено решение М-задачи с нулевыми значениями искусственных переменных, то произведенный выбор М оказался удачным.

Двойственный симплекс-метод. Для исходной задачи (3) рассмотрим двойственную задачу, заданную в виде (5), и попробуем решить ее при помощи симплекс-метода, хотя форма ее не вполне совпадает с канонической. .

В задачу (5) входит т + п переменных, и следовательно, вершина многогранного множества допустимых точек определяется обращением в равенства т + п ограничений. Среди ограничений имеется п равенств. Значит, в каждой вершине обращаются в равенства какие-нибудь т из п ограничений вида г’ ^ 0. Итак, остаются не обязательно равными нулю п — m из переменных г/ и все т переменных щ. Все эти п переменных относятся к числу базисных.

Матрица системы уравнений Атит + z = ст равна || Ar, Е ||, где Е — единичная матрица порядка п. Из столбцов матрицы системы в какой-либо базис задачи входят все столбцы матрицы Ат, так как они соответствуют переменным иь которые всегда базисные. (Заметим, что столбцы матрицы Ат линейно независимы, поскольку линейно независимы строки А по предположению об исходной задаче.) Кроме того, в базис входят некоторые п — пг столбцов единичной матрицы, причем должны быть удовлетворены два условия. Во-первых, эти столбцы в совокупности со столбцами Ат должны быть линейно независимы и, во-вторых, значения базисных переменных zi должны быть неотрицательны. Переменные w, требованию неотрицательности не подчинены.

Обозначим через J множество номеров переменных zi, вошедших в базис, а через I.— множество номеров небазисных переменных zi. Легко видеть, что, каков бы ни был базис двойственной задачи, строки матрицы Ат с номерами из множества I линейно независимы. Чтобы в этом убедиться, достаточно разложить минор, составленный из базисных столбцов, по входящим в него столбцам единичной матрицы.

Эти строки матрицы Ат будем рассматривать как пг линейно независимых столбцов матрицы А и обозначим составленную из них подматрицу через Av Нельзя утверждать, что эти пг столбцов образуют допустимый базис исходной задачи (3), так как соответствующие им базисные переменные не обязательно неотрицательны. Чтобы подчеркнуть это, назовем столбцы, входящие в А/, псевдобазисом исходной задачи^ Следует обратить внимание, что псевдобазис — это не произвольный набор из пг линейно независимых столбцов матрицы А. В определение псевдобазиса (при помощи базиса двойственной задачи) входит требование неотрицательности переменных zi двойственной задачи.

Чтобы выразить это требование более подробно, вычислим базисные переменные, соответствующие какому-либо базису двойственной задачи. Разделим столбцы г и сг на части Zi, Zj и с], с? соответственно, отнеся, например, в Zj компоненты с номерами из J. Аналогично, обозначим через Aj подматрицу матрицы А, состоящую из столбцов, не вошедших в А/. Тогда мы можем записать

А]ит +Zj = с,,

ATjUT-V-Zj = Cj, zj = 0.

Отсюда a = CiAV и

Zj = c5-AHA7lycL

Итак, набор из пг линейно независимых столбцов матрицы А является псевдобазисом, если

Zj =Cj-cIAi,Aj^0.(21)

' Допустим, что множеству номеров / соответствует базис исходной задачи (3). Тогда числа Zj, j е J, будут оценками замещения, соответствующими этому базису (см. формулу (15)). Неотрицательность этих чисел показывает, что базис задачи (3) будет псевдобазисом тогда и только тогда, когда он соответствует решению задачи.

Теперь мы можем указать геометрическую характеристику псевдобазисов. Какую точку мы получим, если выделим произвольный набор линейно независимых столбцов А и найдем соответствующие переменные при условии, что остальные равны нулю? Очевидно, что это будет точка пересечения (л — т)-мерной плоскости, задаваемой системой Ах = Ь, и /n-мерной плоскости, натянутой на некоторые из базисных векторов. Обозначим эту точку х*.

Если набор столбцов является базисом, то точка х* лежит на границе положительного ортанта (базисные переменные неотрицательны).

Если набор столбцов является псевдобазисом, то проекция градиента целевой функции на все ребра, исходящие из точки, являются неотрицательными (выполнено условие (21)).

Для применения симплекс-метода к двойственной задаче (5) мы должны вычислить проекции градиента функции ЬТиТ на ребра, исходящие из выбранной нами вершины многогранного множества задачи (5). Поскольку функция Ьтит максимизируется, для решения задачи все эти проекции должны быть неположительны.

Введем некоторые обозначения, которые позволят представить это вычисление в матричной форме. Через Ьт обозначим строку &г> дополненную п нулями, и разделим ее на части bT = || bT, bj, й[Ц. причем bTj и Ь^равны нулю. £/ будет обозначать матрицу, составленную из столбцов единичной матрицы с номерами из 1, а матрицу порядка п из базисных столбцов обозначим буквой Р.

Согласно формуле (15) знаки проекций градиента определяются знаками чисел 6А, k = 1, .... т, которые можно записать в строку

S^bl-Wb7, ЬЦр-^.

Переставив строки в матрице Р, приведем ее к клеточно треугольному виду ’

и воспользуемся легко проверяемым тождеством

. Ilf О 1|-1 _ II F"1 О II

Перестановке строк матрицы соответствует такая же перестановка столбцов ее обратной, а умножение Р"1 справа на Et выделяет, из

Р-1 столбцы с номерами, принадлежащими /. Поэтому

Р-1^ =Р-1^ =ИГГ (ГУИГГ (ГУ

Р-1^ =

Р-1^ =

ИГГ (ГУ

ИГГ (ГУ

и

6i = -&T (Ату,

В исходной задаче (3) множеству номеров / соответствует псевдобазис. Если мы положим переменные исходной задачи Xj равными нулю, то переменные X; окажутся равными А]\Ь Поэтому

8/ = — -V/.

Как мы отмечали, базис двойственной задачи соответствует ее решению (максимуму Ьтит), если 6/ ^ 0. Это равносильно условию Xi 0. Таким образом, псевдобазис соответствует решению двойственной задачи (5) тогда и только тогда, когда он является базисом.

Если среди элементов Xi имеются отрицательные и максимальный по модулю из них имеет номер к, то число к должно быть исключено из / и включено в J. Для того чтобы определить, каким номером из J оно должно быть заменено в множестве /, нужно подсчитать столбец й = —Р^'е^ Как было показано,

Р-^Р-^-I ИГ-I ИГ

Р-^

Р-^

-I ИГ

-I ИГ

Ясно, что элементы искомого столбца отличаются тольком знаком от элементов к-ro столбца этой матрицы. Нас интересуют отрицательные элементы столбца d, расположенные на последних п —m местах: первые т элементов соответствуют переменным иь которые не обязаны быть неотрицательными, и потому знаки этих элементов несущественны. Следовательно, остается просмотреть элементы столбца d) такого, что

d/ = Ai 1А ^е^ = А1 1 at,. (22)

Эти элементы только знаком отличаются от чисел, играющих ту же роль в исходной задаче (ср. формулу (10)). Номер, на котором достигает минимума отношение —Zj/dj для отрицательных dj н определяет столбец, выводимый из базиса двойственной задачи.

опишем его.опишем его.Соответствие, которое существует между базисами двойственной задачи и псевдобазисами исходной, позволяет описать проиесв решения двойственной задачи по симплекс-методу, не упоминая двойственную задачу и используя только термины, связанные с исходной задачей. Получаемый в результате метод решения исходной задачи носит название двойственного симплекс-метода. Коротко

опишем его.

опишем его.

Допустим, что мы уже построили некоторый псевдобазис. Первое, что мы должны сделать, это проверить, не соответствует ли он решению. Для этого вычисляются хь i = 1, ..., m. Если они все неотрицательны, решение получено.

Пусть среди элементов х, столбца Xi имеются отрицательные. Каждому из отрицательных элементов хк соответствует строка dj = = Л 7*0*. Если найдется такой отрицательный элемент хк) для которого dTj 5=0, то двойственная задача имеет неограниченную сверху целевую функцию и неразрешима. Следовательно, в этом случае исходная задача неразрешима из-за несовместности ограничений.

Допустим теперь, что предположение предыдущего абзаца не выполнено, и в каждой строке dj при отрицательном хк есть отрицательный элемент. Мы выводим из псевдобазиса столбец, соответствующий максимальному по модулю отрицательному элементу столбца Хр Пусть его номер к. В соответствующей ему строке dTi отыскиваем все отрицательные элементы, и для них составляем отношения —^j/d). Номер минимального из этих отношений определяет столбец, вводимый в псевдобазис. Это правило обеспечивает неотрицательность всех чисел А/, соответствующих новому набору столбцов, и этот набор, таким образом, является псевдобазисом. На этом шаг двойственного симплекс-метода заканчивается.

Проблема построения начального псевдобазиса (или базиса для двойственной задачи), как и в прямом симплекс-методе, вообще говоря, вызывает затруднения. Двойственный симплекс-метод может оказаться предпочтительнее потому, что начальный базис для сопряженной задачу может быть указан без затруднений. Однако возможно и обратное положение: для прямой задачи начальный базис указать легче, чем для двойственной.

К числу задач, в которых начальный базис двойственной задачи может быть легко указан, относятся так называемые задачи с верхними ограничениями. В этих задачах переменные V удовлетворяют не только условию неотрицательности, но и ограничениям вида х> $5 рЛ В задаче с верхними ограничениями при помощи переноса начала координат приводится задача с двусторонними ограничениями вида а/ 0А

Один общий метод построения начального базиса двойственной задачи основан на введении «лишних» верхних ограничений. Если к ограничениям исходной задачи добавить ограничения

х1 < /Л,

где М — число большее, чем самая большая компонента решения, То эти ограничения, очевидно, не повлияют на решение задачи, во превратят ее в задачу с верхними ограничениями. Естественно, что величина М не может быть уверенно указана перед началом решения. Поэтому расчеты организуются так, чтобы считать М

больше любого числа, которое может встретиться в процессе расчетов. Подробнее на этом вопросе мы останавливаться не будем.

Зацикливание. Вырожденной задачей линейного программирования мы назвали такую задачу, в которой хотя бы одной вершине многогранного множества допустимых точек, соответствует не один базис, а больше. Это явление связано с обращением в нуль базисных переменных, или, говоря геометрическим языком, с тем, что через данную вершину проходит больше чем п гиперплоскостей, получаемых обращением ограничений задачи в равенства. Вырожденную вершину мы можем рассматривать как две (или больше) совпавшие вершины или как вершины, соединенные ребром нулевой длины.

Мы предполагали задачу невырожденной как при рассмотрении прямого, так и при рассмотрении двойственного симплекс-метода. Однако в действительности вырожденные задачи встречаются достаточно часто. Например, если мы начинаем с базиса, составленного из столбцов, соответствующих изолированным переменным (см. п. 7), и в столбце свободных членов имеется нулевой элемент, то одна из базисных переменных будет равна нулю, и задача —- вырожденная.

Таким образом, предположение о невырожденности задачи чересчур ограничительно. Посмотрим, какие затруднения может вызвать невыполнение этого ограничения. Отличие от нуля базисных переменных само по себе, в сущности, не используется. Затруднение может вызвать то, что одной и той же вершине соответствуют несколько различных базисов. Проекция градиента целевой функции на ребро нулевой длины не определена, но для определения столбца, выводимого из базиса, мы пользуемся не проекциями, а числами Д/, вычисляемыми по формуле (15), которые определены в любом случае. Поэтому, если новый базис соответствует старой / вершине, мы заметим это только в конце шага, найдя, что значение целевой функции не изменилось.

Итак, по алгоритму симплекс-метода мы переходим к другому базису, но можем остаться в той же самой вершине, и после выполнения шага симплекс-метода значение целевой функции не уменьшится. Само по себе это еще не означает, что нахождение минимума нельзя довести до конца. Но может оказаться, что при действующем правиле выбора столбца, выводимого из базиса, и столбца, вводимого в базис, мы будем переходить от одного базиса, соответствующего данной вершине, к другому и после ряда шагов вернемся к тому базису, с которого начали. Такое явление называется зацикливанием.

Следует иметь в виду, что возникновение зацикливания связано не с существом метода, а с второстепенным вопросом — правилом выбора столбцов, вводимых в базис и выводимых из базиса. Это правило может быть усовершенствовано так, чтобы зацикливание не возникало. Следующий способ наиболее прост с точки эре-

ния обоснования, но, возможно, приводит к длинной последовательности бесполезных вычислений. Если появляются несколько переменных, каждая из которых может быть выведена из базиса, то эта переменная выбирается случайным образом. Так как среди переменных заведомо имеются такие, что выведение их из базиса даст базис, соответствующий другой вершине, после некоторого числа проб мы выведем одну из таких переменных.

Имеются и более совершенные приемы «борьбы с зацикливанием», но мы не будем на них останавливаться. Зацикливание, как в прямом, так и в двойственном симплекс-методе, явление настолько редкое, что примеры задач, в которых возникало бы зацикливание, приходится специально изобретать. Тем не менее с принципиальной возможностью зацикливания приходится считаться.

Приложения линейного программирования

Транспортная задача. Из всего множества приложений линейного программирования мы сможем здесь познакомиться лишь с немногими. При сколь угодно строгом отборе этих немногих приложений начать следует, по-видимому, с так называемой транспортной задачи. Это одна из первых линейных оптимизационных моделей, которая была построена в 1939 г., еще до появления линейного программирования как самостоятельной области науки. Для ее решения был предложен ряд способов, вошедших в число классических методов линейного программирования.

В простейшем варианте транспортная задача формулируется следующим образом. Рассматриваются т поставщиков какой-то продукции и п ее потребителей. Пусть поставщики имеют запасы продукции аь ..., ат1 а потребители должны получить соответственно Ьи .... Ьп единиц этой продукции. Заданы затраты на перевозку единицы продукции от каждого поставщика к любому потребителю Сц, i = 1, ..., т, j = 1, ..., п. При этих условиях требуется составить план перевозок, т. е. для всех пар ij указать количество продукции X;/, перевозимое от t-ro поставщика к /-му потребителю. При этом нужно самым экономным способом удовлетворить потребности всех потребителей и вывезти всю продукцию от поставщиков.

Естественно, эти требования выполнимы только в том случае, когда

тп

'.= SЬь

<=i/=1

Если это условие выполнено, транспортная задача называется сбалансированной. В общем случае задача легко приводится к сбалансированной введением фиктивного поставщика или фиктивного потребителя.

. Вее требования к плану перевозок, включая подразумевающуюся неотрицательность чисел Ху, могут быть записаны в вида

следующей задачи линейного программирования:

тп

У. хч = bh2 хм= аи

1=1/=1

хи ^ °, 2 СИХИ min-

В задачу входит тп переменных и т + а ограничений-равенств. Форма записи задачи отличается от канонической только тем, что ограничения линейно зависимы. В существовании линейной зависимости легко убедиться: сумма равенств первой группы

2 хп = У biи //

та же самая, что и сумма равенств второй группы

2 ^/=S й<и / i

(задача предполагается сбалансированной). Линейную зависимость уравнений не исключают, чтобы не нарушать симметрии.

Обозначим буквой Т матрицу системы ограничений. Каждый из ее столбцов содержит две единицы и т + п — 2 нулей. Чтобы лучше представить себе строение этой матрицы, выпишем ее для случая т = 2, п = 3. Переменные и правые части ограничений написаны для идентификации столбцов и строк.

All ^12 ^13 ^21 ^22^23

1

1

1

0

0

0

<21

0

0

0

1

1

1

<?2

т =

1

0

0

1

0

0 "

bi

0

1

0

0

1

0 1

bi

0

0

1

0

0

1 1

bi

Матрица имеет большие (по сравнению с m и п) размеры и специальный разреженный вид. Поэтому естественно постараться организовать расчеты так, чтобы не преобразовывать эту матрицу. Благодаря ее специальному строению это оказывается возможным. Докажем следующее замечательное свойство матрицы Т.

Предложение 1. Каждая невырожденная подматрица матрицы Т перестановкой строк и столбцов может быть приведена к треугольному виду.

Докажем сначала, что в невырожденной подматрице Т матрицы Т обязательно найдется столбец, содержащий одну единицу. Действительно, если все строки подматрицы относятся к первой (или все ко второй) группе строк матрицы Т, то каждый столбец Содержит одну единицу. Если же в подматрице присутствуют Отроки из разных групп, то сложим между собой строки ЖрЬьй

группы и вычтем из них сумму строк второй группы. Если каждый столбец содержит две единицы, то эти единицы расположены в строках из разных групп, и составленная нами разность — нулевая строка.

Переставим столбец, содержащий одну единицу, на первое место, а строку, в которой расположена эта единица, также сделаем первой. Теперь, как легко видеть, подматрица Т" матрицы Т, расположенная в строках и столбцах с новыми номерами, большими двух, также невырождена. Применяя к ней те же соображения, что и к Т, выделим матрицу Т" и т. д.

Таким образом, за конечное число шагов мы приведем матрицу Т к верхнему треугольному виду.

Отметим, что в полученной матрице в каждом столбце выше главной диагонали расположено не больше одной единицы, а остальные элементы равны нулю. Кроме того, все диагональные элементы также равны единице. Поэтому имеет место

Предложение 2. Любой базисный минор матрицы Т по абсолютной величине равен единице.

Определим теперь ранг матрицы Т и вместе с тем укажем способ построения вершины многогранного множества^допустимых точек транспортной задачи.

Рассмотрим матрицу С, составленную из элементов с^. Пусть сар = min см и aa < Ьр. Тогда полагаем xag = aa и х«/ = 0 для i. /

всех / Р, и исключаем из дальнейшего рассмотрения строку матрицы С с номером а. Число Ьр заменяется на Ьр — Оу.

Если аа > Ьр, то полагаем хар = Ьр и х,р = 0 при i Ф а, число аа заменяем на аа — Ьр и исключаем из рассмотрения столбец матрицы С с номером р.

При равенстве можно аналогичным образом исключить или строку, или столбец, но что-нибудь одно. Если исключили, например, строку, то Ьр заменяется на нуль. Однако если в матрице имеется одна строка и несколько столбцов, то исключается столбец, а если один столбец и несколько строк, то исключается строка.

Такое присвоение значений переменным хц соответствует тому, что мы отправляем по самому дешевому маршруту столько, сколько возможно, и тем самым либо удовлетворяем потребность одного потребителя, либо исчерпываем запасы одного поставщика.

После этого к оставшейся части С' матрицы С применяется тот же процесс до тех пор, пока не будут исключены все столбцы и строки. Всего имеется m + п столбцов и строк, и на каждом шагу, кроме последнего, исключается одна строка или один столбец. На последнем шагу исключаются и строка и столбец. Таким образом, процесс состоит из m + и — 1 шагов, и построенная матрица X = || Ху || будет содержать m + п — 1 не обязательно равных нулю элементов.

Докажем, что элементы так построенной матрицы X удовлетворяют системе ограничений транспортной задачи, и выделенные

нами переменные являются базисными переменными. Для доказательства проследим еще раз за процессом построения матрицы X. Пусть для определенности на первом шагу была исключена строка. Значение переменной ха,р2, выделенной на первом шагу, однозначно определено по а^ и Ь^ при условии, что xaj = 0 для всех / #= р. Это значение таково, что уравнение с номером аг из первой группы выполнено.

Уменьшенная матрица С' соответствует сбалансированной транспортной задаче, в которой на одного потребителя меньше, и 6р, = = b^t — аК1. Выделяемая на втором шагу переменная ха2р2 также однозначно определена по а^ и Ь^, при условии, что xaj- = 0 (или соответственно х^, = 0, если на втором шагу исключался столбец). Так как а«, и Ь'&2 определены по а, и Ь,, значение ха2р2 однозначно определено по а, и Ь,, причем выполнено одно ограничение, соответствующее уменьшенной матрице.'Если рх = р2, это ограничение отличается от ограничения исходной задачи, но, учитывая значение Ха.рщ изменение Ь§14 мы увидим, что выполнено и ограничение исходной задачи.

Продолжая рассуждать таким же образом, мы получим в конце концов уменьшенную матрицу размеров 1 X 1 и два равных между собой числа а и Ь. Последнюю переменную полагаем равной а и тем удовлетворяем сразу два последних оставшихся уравнения.

Таким образом, все уравнения удовлетворены, и выделенные переменные однозначно определены как линейные многочлены относительно av ..., ат и bv .... b„ при условии, что остальные переменные равны нулю. Это означает, что выделенные переменные являются базисными. Отсюда следует, что

KgT = т + п — 1.

Заметим, что требование, в силу которого на каждом шагу выбирается минимальный элемент матрицы С, никак не использовалось. Можно было бы каждый раз брать первый попавшийся (левый верхний, например) элемент. Выбор минимального элемента дает вершину многогранника, более близкую к решению задачи. С другой стороны, существует ряд более сложно реализуемых методов, позволяющих получить еще лучшие начальные решения.

Мы видим, что построение начального базиса в транспортной задаче затруднений не вызывает.

В силу описанного нами строения базисного минора матрицы Т вычисления по формулам (10), (15) и (16) § 4 осуществляются крайне просто: для решения соответствующих систем линейных уравнений требуется сравнительно небольшое число сложений и вычитаний и совсем не требуется умножений и делений. Поэтому все трудности в применении симплекс-метода к транспортной задаче сводятся к выбору переменных, вводимых в базис и выводимых из базиса. Это позволяет создать для транспортной задачи весьма эффективную модификацию симплекс-метода. Эта модификация (под назва-

310 гл. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ нием метода потенциалов') была построена раньше, чем общий симплекс-метод. Мы не будем разбирать метод потенциалов, а лучше рассмотрим другие задачи, связанные с транспортной.

Задача о максимальном потоке. Из задач, родственных транспортной задаче, рассмотрим задачу о максимальном потоке в сети. В этой задаче рассматривается поток груза или еще чего-нибудь (например, жидкости) по сети коммуникаций, связывающей некоторые пункты или узлы сети. Дуги, составляющие сеть, считаются направленными. Если между двумя узлами возможно движение в обоих направлениях, мы будем считать, что узлы соединены двумя противоположно направленными дугами.

Для каждой из дуг, входящих в состав сети, задана пропускная способность, т. е. число, определяющее верхнюю границу величины потока, возможного по данной дуге. В некоторых узлах выполнены уравнения баланса: сумма потоков, входящих в узел, равна сумме исходящих из него потоков. Но имеются узлы, в которых эти суммы различны. Такие узлы называются источниками или стоками, смотря по знаку суммарного потока. Всегда можно ввести дополнительные дуги с соответствующими пропускными способностями и с их помощью соединить все источники в один источник и все стоки в один сток.

С описанной сетевой моделью может быть связано несколько оптимизационных задач. Задача о максимальном потоке состоит в том, чтобы найти максимальную величину потока от источника к стоку, которая была бы совместна с заданными пропускными способностями.

Пусть сеть содержит п узлов, кроме источника и стока. Источнику присвоим номер 0, стоку — номер п + 1. Сеть может быть задана матрицей D порядка п + 1. Элемент dy, i = 0, ..., п; / = = 1, .... п + 1, этой матрицы равен пропускной способности дуги, если i-й и /-й узлы соединены дугой, и нулю в остальных случаях. В частности, диагональные элементы d,-,- равны нулю.

Стоит заметить, что для большинства реальных сетей матрица D разреженная, и потому записывать ее целиком нет смысла. Данные о сети можно хранить и во многих других формах. Однако для теоретических рассуждений удобнее представлять себе матрицу.

Обозначим через Хц величину потока по дуге из i-го узла в /-й. Для того чтобы упростить запись уравнений, будем считать, что величины потоков определены для всех пар i, j, i = 0, ..., п\ / = = 1, .... п + 1, но фактически отсутствующим дугам соответствуют нулевые пропускные способности и нулевые величины потоков. Тогда ограничения на потоки, накладываемые пропускными способностями, имеют вид

О^хц^йу(1)

для всех пар I, j. ..

Уравнение баланса в /-м узле для / = 1, .... п можно записать так:

пп +1

5^-5хуа=0.(2)

1=0к = 1

Следствием уравнений баланса является требование, чтобы сумма потоков, исходящих из источника, равнялась сумме потоков, входящих в сток:

П + 1п

5 4i = V xi.M-(3)

/=1i=o

Последнее уравнение можно также рассматривать как уравнение баланса, если представить себе, что сток и источник соединены дугой с большой пропускной способностью, которая возвращает в источник все, протекшее через сеть, и тем самым объединяет источник и сток в одну точку.

Под величиной потока через сеть мы будем понимать левую часть равенства (3). Эту сумму мы и должны сделать максимальной при условии, что выполнены ограничения (1), (2).

Для приведения задачи к канонической форме введем дополнительные переменные у у, 1 = 0, ..., га; / = 1, ..., га + 1, такие, что ограничение на пропускные способности запишется в виде равенств

ху-\-Уу = ду.(4)

Дополнительные переменные уу неотрицательны.

Матрица S системы ограничений (2), (4) имеет две группы строк: строки первой группы состоят из коэффициентов уравнений (2), а строки второй — из коэффициентов (4). Каждая переменная Ху входит с ненулевым коэффициентом в два уравнения первой группы: в одном — в первую сумму, в другом — во вторую. Каждой переменной Ху соответствует уравнение второй группы, куда, кроме нее, входит только переменная уу с теми же значениями индексов.

Таким образом, столбец матрицы S, который соответствует переменной Ху, содержит три ненулевых элемента, именно +1 и —1 в строках первой группы и +1 в строках второй группы. Столбцы, которые соответствуют переменным уу, содержат одну единицу. По аналогии с предложением 1 мы можем доказать

Предложение 3. Каждая невырожденная квадратная подматрица матрицы S системы ограничений (2), (4) при помоги перестановки строк и столбцов может быть приведена к треугольному виду.

Как мы видели, достаточно доказать, что каждая невырожденная подматрица имеет столбец с одйим ненулевым элементом. Докажем это.

Во-первых, если подматрица содержит столбец, соответствующий уу, то доказывать нечего: единственная единица этогЬ столбца

должна входить в подматрицу. Поэтому мы будем считать, что таких столбцов нет.

Если подматрица содержит строки только из второй группы, то в каждом столбце только одна единица. Если же присутствуют строки из обеих групп, то детерминант подматрицы распадается в произведение минора, содержащего все единицы из строк второй группы, и его дополнительного минора, расположенного целиком в первой группе строк. Так вопрос сводится к исследованию подматриц, целиком лежащих в первой группе строк. К таким подматрицам применяется доказательство от противного, вполне аналогичные проведенному для предложения 1.

Конечно, нет смысла вводить в матрицу S столбцы, соответствующие заведомо равным нулю переменным. Представление матрицы зависит от выбранного способа задания сети. Нам только нужно отметить, что удаление из матрицы S каких бы то ни было столбцов не меняет предложения 3.

Пусть матрица S содержит столбцы, соответствующие N различным парам значений индексов I, j. В число базисных переменных какого бы то ни было базиса для каждой пары i, j обязательно входит или Ху, или уу, или обе эти переменные, поскольку уравнение Ху + уу = dy, как и всякое уравнение, должно содержать хоть одну базисную переменную. В соответствии с этим пары I, / разделяются на три класса:

С1: обе переменные Ху и уу базисные;

G2: переменная Ху базисная, у у — нет;

G3: переменная уу базисная, Ху — нет.

Число пар первого класса легко может быть сосчитано. Если таких пар й, то остальных N — к, и общее число базисных переменных равно 2k + N — k. Но число базисных переменных равно числу независимых уравнений, т. е. п + N. Отсюда следует, что k = п.

Рассмотрим подматрицу, составленную из базисных столбцов, и переставим строки и столбцы так, чтобы столбцы, соответствующие базисным уу, были последними, и строки, содержащие единицы в этих столбцах, также были последними. Это приведет подматрицу к клеточному виду

Si о ||

S3 S3

Очевидно, что det ST =/= 0 и Si должна содержать столбец, в который входит один ненулевой элемент. Но в нее входят все строки первой группы, и следовательно, этим столбцом может быть только столбец, соответствующий переменной хог или Х;>л+1. Более того, вторая единица из этого столбца в Si не вошла, значит, пара О, i (или /, п + 1) относится к парам первого класса Gi-

Сформулируем задачу, двойственную задаче о максимальном потоке. Для задачи максимизации функции при канонической форме ограничений двойственная задача может быть сформулирована

аналогично задаче (4) § 4 так:

уА^с, .у#-»-min.

В рассматриваемом случае двойственная задача будет содержать п переменных ик, соответствующих ограничениям (2), и N переменных Uy, соответствующих ограничениям (4). Можно считать, что ик соответствуют узлам сети, а иу — ее дугам. Система ограничений двойственной задачи имеет вид

Ufc+ Уок^ 1,

— ^i + Uy л+1 ^ Q,

— Uk + Ui + УМ ^ 0,у a ^ 0.

Здесь и далее индексы принимают следующие значения: i = 0, ..., п; j — 1, ..., п + 1; к, I = 1, ..., п, но не в произвольных сочетаниях, так как в систему входят ограничения только для тех пар индексов, которые соответствуют входящим в основную задачу N переменным Ху.

Пусть ик, v*j — решение двойственной задачи, а Ху, у*/ — решение исходной. Предположим задачу невырожденной и рассмотрим базис исходной задачи, соответствующий решению. Будем говорить, что дуга сети и переменная иу относятся к классу Оь G2 или G3, если соответствующая пара индексов i, j относится к этому классу.

Для пар индексов класса GT имеем Ху > 0, у*; > 0. Это значит, что дуга занята некоторым потоком, но не загружена до предела пропускной способности. Согласно предложению 3 § 3 и^ и и,* удовлетворяют соотношениям:

U*k=l,

если

0, к s Gi,

^ = 0,

если

к, п+ 1 е Gi,

«к = U*,

если

к, 1 е Gb

у?, = 0,

если

1, j^Gv

На ик здесь всего п независимых соотношений по числу пар в Gv Сопоставим источнику Uo = 1, а стоку и£+1 = 0. Тогда можно вывести отсюда, что и* = 1 для всех узлов сети, которые соединены с источником не загруженными до предела дугами, а и* = 0 для тех узлов, которые соединены незагруженными дугами со стоком. При этом каждая переменная ик имеет значение ик, равное нулю или единице.

Для пар индексов класса G2 имеем Ху > 0, y*t = 0. К этому классу относятся загруженные до предела дуги. Для них имеем uy>0, v*l = Uk — y*,'

ut + У*к = 1, если 0, к е G2,■

"ик — ик- л+1 = 0, если к, п + 1 г G2,■

Отсюда следует, что при i, / е G2 выполнено и* = 1 и и* = 0. Это означает, что загруженные до предела дуги соединяют узлы, для которых и* = 1, с узлами, для которых и* = 0.

Для пар индексов класса G3 имеем Ху = 0, уц > 0. Это свободные от потока дуги, которые могли бы быть исключены из сети без изменения максимального потока. Имеем

и у = 0,если I, j е G3

и

и.Ц-<а*, если k, ieG,.

Последнее означает, что свободные дуги соединяют те вершины, для которых и£ = 0, с теми, для которых и* = L

Целевая функция двойственной задачи есть

Ее минимальное значение в силу сказанного выше равно ^dyufi^ ^ dy.(5)

i, ii. ieGi

В последней сумме суммирование распространяется только на пары из класса G2, так как только для них vy отлично от нуля.

Рассмотрим интерпретацию этого результата в терминах сети. Сумма (5) есть сумма пропускных способностей некоторого множества дуг. Введем следующее

Определение. Пусть множество узлов сети разбито на два непересекающихся подмножества Уу и ^2, причем источник входит в ^j, а сток в ^2- Множество всех дуг, начало которых принадлежит а конец принадлежит ^2, называется разрезом сети. Сумму пропускных способностей всех дуг разреза назовем пропускной способностью этого разреза.

Основанием для введения термина «разрез» служит следующее свойство. Рассмотрим ориентированный путь от источника к стоку. Это такая последовательность узлов «0, и^, ..., ut , ип+1, что каждый узел в ней связан дугой со следующим. Последовательность начинается в источнике uQ, а кончается в стоке ип^. Каков бы ни был разрез сети, каждый путь от источника к стоку обязательно содержит одну из дуг этого разреза. Действительно, будем двигаться вдоль пути, отмечая, к какому из подмножеств ^ или 8\ относятся проходимые узлы. Мы начинаем с узла из о^, а кончить должны узлом из >й. Поэтому где-то должны перейти из 3\ в ^2.

Если мы отнесем к <3\ те узлы, для которых и*= 1, а к ^2 — те. Для которых и* = 0, то это разбиение определит разрез, состоя- .ццА из дуг класса G2. Сумма (5) есть пропускная способность этого разреза.

Назовем разрез минимальным, если его пропускная способность не превосходит пропускную способность любого другого разреза. Легко видеть, что величина максимального потока в сети не может превосходить пропускной способности минимального разреза. Действительно, прежде чем попасть в сток, максимальный поток должен попасть в множество ^2, определяющее минимальный разрез.

Теперь теорема двойственности в применении к задаче о максимальном потоке может быть сформулирована следующим образом.

Теорема 1. Величина максимального потока в некоторой сети равна пропускной способности минимального разреза этой сети.

Дискретное линейное программирование. Ряд практически важных моделей приводит к задачам линейного программирования с тем дополнительным условием, что все (или некоторые) переменные должны принимать только целые значения.

Например, пусть в пунктах Л;, < = 1, .... т, может быть организовано производство некоторого продукта в размерах а=, что требует затрат /;. Потребители в пунктах В, имеют потребности bj, j= 1, .... п, которые надо удовлетворить наиболее экономным способом с учетом затрат сц на транспортировку от Л,- до Bj.

Это приводит к задаче линейного программирования с целевой функцией

2 CijXij + ^ /iPi, i. I I

где yi = 0 или 1 в зависимости от того, организуется производство в пункте Л,- или нет. При внешнем сходстве с транспортной задачей эта задача, называемая простейшей задачей размещешиц производства, гораздо сложнее именно из-за условия целочисленности у;.

Могло бы возникнуть мнение, что решение задачи дискретного линейного программирования получается при подходящем округлении решения задачи обычного линейного программирования, получаемой отбрасыванием условий целочисленности. Однако на самом деле это мнение было бы неверным, как показывает рис. 7. На нем заштрихованная область — многогранное множество допустимых точек задачи линейного программирования с двумя переменными, вектор с указывает направление градиента целевой функции. Решение X задачи дискретного линейного программирования далеко от решения У непрерывной задачи. '

Задачи дискретного линейного программирования по возникающим при их решении проблемам и по методам их преодоления гораздо ближе к общим задачам дискретного программирования, чем к задачам линейного программирования. Однако существует несколько дискретных задач, решение которых можно получит^, решая соответствующую линейную задачу. Они связаны с рассмотрен-

ними нами транспортной и сетевой задачами, и мы на одной из них сейчас остановимся.

Задача о назначениях заключается в следующем. Пусть имеется п. должностей и столько же кандидатов на эти должности, причем каждый из кандидатов в разной степени удовлетворяет требованиям, предъявляемым для замещения какой-либо из должностей. (Конечно, это могут быть не должности и кандидаты на них, а, ска

жем, строительные объекты и машины, на них используемые, и т. д.)

Пусть ожидаемый эффект от назначения /-го кандидата на /-ю должность измеряется числом с,у, i, j = 1п. Нужно составить такой список назначений, чтобы ожидаемый эффект от принятия такого списка был максимальным.

По своей природеза-

рис 7дача никак не связана с

" 'линейным программиро

ванием, и первый приходящий в голову способ решения — это перебор п'. возможных списков назначений. Однако если п не очень мало, этот способ мало

привлекателен. В дискретном программировании рассматриваются различные способы упорядочить перебор вариантов с тем, чтобы не просматривать их все, а отбрасывать неподходящие варианты целыми группами. Попробуем, однако, составить задачу линейного

программирования.

Введем переменные Ху, и пусть Ху = 1, если r-й кандидат назначен на /-ю должность, и Ху = 0, если не назначен. Тогда ожидаемый эффект от принятия списка, задаваемого матрицей X = = II Ху ||, будет равен

5(6)

i. i

Эта сумма должна быть сделана максимальной при условии, что X есть матрица перестановки, т. е. каждая ее строка и каждый столбец содержат одну и только одну единицу, а остальные элементы — нули.

Если X — матрица перестановки, то выполнены условия

Ху^О, 5ty=1- ^хч=\.(7)

;=1

Однако эти условия, конечно, недостаточны и не гарантируют того, ЧТО все хц равны Нулю или единице.

Таким образом, решение задачи максимизации суммы (6) при условиях (7) дает решение задачи о назначениях, если его компоненты хи равны нулю или единице, и бесполезно в противном случае.

Заметим, что сформулированная задача отличается от транспортной задачи только тем, что требуется максимизация функции, а не ее минимизация. Это отличие, конечно, не имеет отношения к свойствам матрицы системы ограничений, и для этой матрицы справедливо предложение 2. Из предложения 2 немедленно следует свойство целочисленности решений транспортной задачи: если числа а,- и Ь; целые, то все вершины многогранника S' допустимых точек транспортной задачи имеют только целые координаты.

Заметим, что аналогичное свойство целочисленности для задачи о максимальном потоке следует из предложения 3, если пропускные способности — целые числа.

Итак, мы можем быть уверены, что для задачи с ограничениями (7) максимум функции (6) достигается в точке с целыми координатами. Если решение не единственно, среди решений будут и не целочисленные, но целочисленное решение обязательно существует. Целые ху неотрицательны, и суммы (7) равны единице. Поэтому все Ху равны либо нулю, либо единице.

Мы видим, что решение дискретной задачи свелось к решению гораздо более простой задачи линейного программирования благодаря свойству целочисленности решения транспортной задачи.

Подробное изложение теории сетевых-задач и их применения к задачам дискретного программирования можно найти в книге Ху (39).

Матричные игры. Важным классом моделей, тесно связанным с линейным программированием, являются так называемые матричные игры.

Под игрой в математическом смысле слова понимается процесс, в котором несколько лиц принимают решения. После окончания процесса каждый участник игры получает выигрыш (возможно, не положительный), который зависит от решений, принятых им и остальными участниками. Помимо игр в обычном смысле слова, сюда относятся модели ситуаций, рассматриваемых в стратегии и тактике, модели биржевых операций и многие другие.

В интересующих нас матричных играх принимают участие два лица, интересы которых противоположны, так как сумма их выигрышей равна нулю. При таком предположении игра называется антагонистической игрой или игрой с нулевой суммой. В действительности интересы игроков могут быть противоположны и при ненулевой сумме выигрышей, но этот случай легко приводится к случаю нулевой суммы.

Процесс принятия решений предполагается однократным, т. е. выигрыш определяется после того, как каждый участник игры принял решение один раз. Решения, принимаемые игроками, назы-

ваются стратегиями. В таких играх, как шахматы, противники делают по многу ходов, на каждом из которых принимается решение. При этом подходе игра относится к классу динамических игр. Но можно представить себе, что перед началом игры игрок решил, каким ходом он будет отвечать на любой возможный ход противника (конечно, для шахмат и почти всех реальных игр это лишь теоретическая возможность). Каждое такое решение будет стратегией в игре с однократным принятием решений, и игра, таким образом, приобретет нормальную форму.

Для игр в нормальной форме предполагается, что ни один из игроков не имеет никакой достоверной информации о той стратегии, которую выберет другой, т. е. решения игроков принимаются независимо. Под недостоверной информацией понимается такая, которую игрок может сам извлечь из предыдущих результатов игры, если он играет с данным противником не в первый раз. Так, если до сих пор противник всегда пользовался стратегией а, то можно предположить, что он и далее будет пользоваться этой стратегией.

Матричные игры относятся к классу конечных игр. Это означает, что число стратегий каждого игрока предполагается конечным.

На этом предположения заканчиваются. Любую конечную антагонистическую игру в нормальной форме называют матричной игрой. Такую игру можно описать матрицей, строки которой соответствуют стратегиям первого игрока, а столбцы — стратегиям второго. Элемент матрицы ау равен выигрышу, который получит первый игрок, если он выберет стратегию с номером i, а противник выберет стратегию с номером j. Если бы мы поменяли игроков местами, то в матрице строки заменились бы столбцами, столбцы — строками, а элементы матрицы изменили бы знаки. Таким образом, матрица А заменилась бы на —ДГ. Например, симметричная игра, в которой оба игрока находятся в одинаковом положении, должна иметь кососимметрическую матрицу.

Разумеется, для задания игры достаточно указать матрицу для первого игрока. Так мы и поступим, хотя это вводит некоторую несимметричность в обозначения. Будет рассматриваться игра, заданная матрицей А размеров т X п с элементами ау. Первый игрок имеет т стратегий, второй — п. При этом мы можем считать, что игра состоит в том, что первый игрок выбирает строку матрицы, а второй независимо от него выбирает столбец. Еслй нА пересечении строки и столбца стоит элемент ау, то первый игрок получает ау, а второй получает —ау.

Таким образом, первый игрок заинтересован в выборе максимального элемента матрицы, а второй — в выборе минимального Элемента. В соответствии с этим первого иногда называют максимизирующим игроком, а второго — минимизирующим.

Гарантированные выигрыши. Представим себе в роли первого игрока очень осторожного человека, который не хочет рисковать, а хочет получить, если это возможно, хоть и не самый большой,

но зато гарантированный выигрыш, не зависящий от действий второго игрока. Первый игрок может рассуждать так: «В самом худшем случае мне достанется самый маленький элемент из выбранной мной строки. Поэтому следует выбрать ту строку, в которой самый маленький элемент максимален». Итак, пусть i = 1, ..., т, а / = = 1, .... п, и

aWo = max min ау.

t I

Выбрав стратегию i0, первый игрок не может получить меньше чем я(о^, что бы ни выбрал второй игрок. При других стратегиях он может получить и меньше чем «,„,■„ и больше, но это зависит от действий второго. Однако если второй действует осторожно, первый не может получить больше некоторого предела, который мы сейчас установим.

Число max min Пу называется гарантированным выигрышем пер- i 1

вого игрока. Число —max min atj является верхней границей i i

выигрыша второго игрока, больше которой при осторожных действиях первого игрока он получить не может.

Проведем аналогичные рассуждения за второго игрока. Для получения гарантированного выигрыша он должен выбрать тот столбец, в котором самый большой элемент будет минимальным, т. е. столбец с номером /j, для которого

щ,;, = min max ay.

/<

При стратегии Д второй игрок получает гарантированный выигрыш, равный —min max ay. Одновременно мы получаем, что число / . <

min max ay является верхней границей выигрыша первого игрока, / i

больше которой он при осторожных действиях второго игрока получить не может.

Установим, как связаны между собой гарантированные выигрыши игроков. Нетрудно доказать, что обязательно

max min ay ^ min max ay.t i

Это означает, что всегда верхняя граница выигрыша не меньше, чем гарантированный выигрыш. Действительно, рассмотрим столбец р, составленный из элементов pt = min ац. Каждый из элементов этого столбца не больше соответствующего элемента любого другого столбца:

Pi^Qy, j=\, .... п. ■

Если А-й элемент столбца р является наибольшим, то для Всех / — 1, ..., п верно'

max pt = рк akj max ay. .

Поскольку рк не больше каждого из п чисел, то оно не больше минимального из них:

max pt min max а». ''

ii <

Это совпадает с доказываемым неравенством.

Игры, в которых выполнено равенство

max min ау = min max ау,< ii i

называются вполне определенными. Если а^, — тот элемент, который равен обеим частям этого равенства, то, выбрав стратегию i0, первый игрок получает свой гарантированный выигрыш, который одновременно является и его максимальным выигрышем при осторожной игре второго игрока' Это — большее, на что он может рассчитывать. Точно так же второй игрок выбирает стратегию /0 и выигрывает —дГо;о. Это верхняя граница выигрыша при правильных действиях первого. Если ни один из игроков не рассчитывает на оплошность другого, то результат игры определен, с чем и связано название этого класса игр.

Стратегии i0 и /0 называются чистыми оптимальными стратегиями.■

Рассмотрим в качестве примера игру с матрицей

||з 4

Ясно, что первому игроку следует выбрать вторую строку, а второму, если только он не надеется на ошибку первого, нужно выбрать первый столбец.

Положение меняется, если мы перейдем к игре с матрицей

II3

Эта игра уже не будет определенной, так как max min ау = 2, </.

a min max ау = 3. Стремясь получить свой гарантированный / t

выигрыш 2, первый игрок должен выбрать вторую строку. Если при этом второй игрок, также рассчитывая на гарантированный выигрыш —3, выбирает первый столбец, то он получает больший выигрыш, равный ■—2. При таких стратегиях первый игрок явно в невыгодном положении: он мог бы получить 3, если бы, надеясь на осторожность второго, выбрал первую строку. Тогда второй получил бы только гарантированный минимум. В этой игре, как мы видим, нет чистых оптимальных стратегий, гарантированно дающих наилучшие возможные при правильной игре обеих сторон результаты.

Смешанные стратегии. Рассмотрим игру, для которой

‘а(о/-о = max min а,,-< min max = «,,/,.

< ij i

До сих пор мы предполагали, что игра играется один раз. При этом предположении для рассматриваемого случая дальше продвинуться не удается. Будем считать, что игра повторяется многократно.

Если при многократном повторении игры первый игрок будет постоянно выбирать стратегию i0, то второй игрок, рассчитывая на это, будет выбирать стратегию /0 и первый будет получать а^,-,. Если же первый неожиданно выберет стратегию i^ то выигрыш его будет равен а,1/о, причем

Однако если он будет продолжать выбирать стратегию ц, то второй заметит это и оставит ему выигрыш min а(1/, не больший, а вообще говоря, меньший чем aiojo.

Правильное решение игрока в не вполне определенной игре состоит в том, чтобы выбирать стратегию случайным образом так, чтобы противник не мог предугадать, какая стратегия будет выбрана в следующий раз. При правильном выборе стратегий и их вероятностей такое решение позволяет поднять средний выигрыш выше, чем max min а,,, хотя и не доведет его до min max ау.

i i i <

Допустим, что стратегия i применяется первым игроком с вероятностью х*, i = 1, ..., т, а стратегия / применяется вторым игроком с вероятностью у1, j = 1, .... п. Естественно, что

х'^0, + + 1

и ■

У^О, yY-V.-."Vyn=V

Выигрыш первого игрока теперь — случайная величина, математическое ожидание которой нетрудно подсчитать. Так как стратегии выбираются независимо, вероятность выбора пары стратегий i, / равна x*yi, а значит, математическое ожидание величины выигрыша первого игрока есть

f (*> J) = S аих1У5

или, в матричной форме, ХТ Ау.

Столбцы х = Их1, ..., хт ||г и у = Цу1, .... у" IF мы назовем смешанными стратегиями первого и второго игроков, а стратегии, рассматривавшиеся выше, в отличие от смешанных, будем называть чистыми. Чистые стратегии можно рассматривать как смешанные стратегии, определяемые столбцами единичной матрицы.

Геометрически мы можем представлять себе чистые стратегии как базисные векторы в m-мерном (или соответственно п-мерном) пространстве, а смешанные стратегии — как выпуклые комбинации чистых. Все множество смешанных стратегий, например, первого игрока изображается выпуклой оболочкой т. точек в т-мёрйо^

' 322 гл. V. СИСТЕМЫ НЕРАВЕНСТВ и линейное программирование аффинном пространстве, причем эти точки не лежат ни в какой (т — 1)-мерной плоскости. Такое множество — простейший /«-мерный многогранник — называется /n-мерным симплексом.

Исследуем, чего могут достигнуть игроки, если они будут применять смешанные стратегии. Если первый игрок выберет стратегию х, то он может быть уверен, что его выигрыш будет не меньше чем

min хтАу.у

Этот минимум существует, так как функция хтАу при фиксированном х непрерывна на замкнутом ограниченном множестве значений у. Поэтому гарантированный выигрыш первого игрока при применении смешанных стратегий не превосходит

sup minx Му.

х У

Аналогично, при выборе стратегии у второй игрок выигрывает не меньше —max xtAy, и потому при его правильной игре выигрыш первого игрока не превосходит

inf max хтАу.у *

Ниже мы увидим, что эти верхняя и нижняя грани достигаются и, следовательно, являются максимумом и минимумом, а пока отметим только, что выполнено неравенство

min хт Ay s= sup min хтАу sg inf max хтАу =^ max хтАу. (8) ух уухX

В доказательстве здесь нуждается только средний знак неравенства. Очевидно, что при любых х и у выполнено

min хтAy «^х7 Ay ^ шах хтАу.у*

Так как правая часть этого неравенства не зависит от х, имеем sup minx7" Ay ^max хтАу.

х ух

Но в этом неравенстве левая часть не зависит от у. Поэтому sup min хтAy ^ inf max хтAy.

X Уух

В действительности здесь обязательно имеет место равенетвр. В этом заключается основная теорема теории матричных игр, кото* рую мы ниже докажем. Но сейчас для доказательства формулы (8) полученного нами неравенства достаточно.

Докажем еще, что при любом х выполнено'

mln У oyxi<minf (х, у).■-

Действительно, по определению f (х, у) имеем

Цх, УУ^^У1 Цаи^.

Если мы заменим каждую внутреннюю сумму на наименьшую из них, мы получим неравенство

Кх, уУ^(^ уЛ min ^ «ух1 = min У, а^.\ i J ' ii I

Это верно при всех^, в частности при том, на котором достигается min / (х, .у)- Этим требуемое неравенство доказано. Аналогично у доказывается, что

max У a^yimax 5 с^у1.

1 i* i .

Применение линейного программирования. Из доказанных нами неравенств видно, что, выбрав стратегию х, первый игрок может быть уверен, что его выигрыш будет не меньше чем и = = min У ац^. Стратегия х удовлетворяет системе неравенств

i i

^a^^v, /=1, .... п, '

1=1(9)

x1 + ... + xm = l, х^О, .... xm^0.

При этом первый игрок стремится так выбрать х, чтобы и было максимальным. Для того чтобы свести эту задачу к задаче линейного программирования, потребуется преобразование матрицы А. Именно, прибавим ко всем элементам А одно и то же число, настолько большое, чтобы все элементы стали положительными. Это равносильно тому, что первый игрок получает определенную сумму за участие в игре. Поэтому преобразование не влияет на выбор стратегии каждым Игроком. Итак, положим йу = ау + а и А = ” II йц II, где а > max | а^ |. Величина и, составленная для мат

рицы А, положительна, и мы можем ввести новые переменные

-^ = V^x1, t = 1, ..., tn.

Это приведет систему неравенств (9) для матрицы А к виду

/=1

^5=0, .... &m2s0.

Теперь стремление увеличить у приводит к следующей задаче линейного программирования:

/=11 = 1,..../=11 = 1,....и,т,и,т,m

/=1

1 = 1,....

/=1

1 = 1,....

и,

т,

и,

т,

1=1

^>0,

£1 + ... + £m->-min.

Мы сможем записать эту задачу в матричной форме, если введем столбец i, все элементы которого равны 1. Нам потребуются также столбцы высоты т и п, но высоту мы указывать не будем, так как она ясна из употребления столбца. Задача первого игрока принимает вид

(Ю)(Ю)AT^i, |^0,z‘r|->-min.

(Ю)

(Ю)

Эта задача разрешима. Действительно, целевая функция ограничена снизу, так как очевидно, что цветах хТАу. Система ограничений -г- у■

задачи (10) совместна, потому что всеа,у > 0, и, выбрав £‘ > max аД, /

мы сделаем в каждом неравенстве одно из слагаемых большим единицы.

Построим теперь задачу второго игрока. Если второй игрок выберет стратегию jt, то его проигрыш будет не больше чем хм = = шах 2 О-цук При этом

2 О-цу1 ^хм, i = l, ..., т, i=i

у1 + ... + уп = Х)

уг^0, ..., уп^0.

к видук видуПреобразования, аналогичные примененным в задаче первого игрока, приводят задачу минимизации максимального проигрыша

к виду

к виду

(П)(П)■цТАТ^:1Т, т)^0,т)т/->тах,

(П)

(П)

где т) = хм'^у.

Нетрудно заметить, что задачи первого и второго игроков — взаимно двойственная пара задач. Из теоремы 3 § 3 и формулы (9) § 3 следует, что для решений §0 и ц0 задач (10) и (11) выполнены равенства

■(*2)

Перейдем к старым переменным х и у, учитывая, что |0 и i]0

соответствуют

Vo = min 2 йуХо и

too = max ^ауу*.

/

Умножая (12) почленно на votoo, получаем

min 2 М -уТЛ'Х = max 2 М- I i*/

Теперь мы можем вернуться к исходной матрице А. Имеем

min 2 (ay + а) х‘ = min 2 а х< + а ^ ^ = min 2 а,.^ + а / iifi I i'

и

■max 2 (tz;/+ «)<// = max 2 щМ+а,

a также

(ay + a) x^ = 5 a^l + a 2 x^ = £ а^У» + a.

UiUII. /U /

Поэтому

mm 2 a.х‘ =yTдт^ = max £ a^.

Отсюда немедленно следует

min yTATx = у ТДТ х = max у^Атх.(13)

ух

Действительно, в двойном неравенстве

min 5 ах1 minутА тх ^утй А тх» i iу

крайние члены равны. Отсюда следует первое из доказываемых ра- йёнств, а второе доказывается аналогично.

Теперь из неравенства (8) и равенств (13) таким же приемом получаем

sup min хтAy = inf max xTAy = x^Д_уо. . я уу ^

Отсюда следует не только равенство верхней и нижней граней но и то, что эти грани достижимы. Мы можем сформулировать результат так:

Теорема 2. Для произвольной матричной игры существуют такие смешанные стратегии х0 и у0, при которых

' max minxMj = min max xTAy = x^Ay .

* уу *

Число х^Ау,, называется значением игры, а стратегии х0 и j0 — оптимальными стратегиями. Пара оптимальных стратегий х0, _у0 носит название решения игры.

Чистые оптимальные стратегии, которые существуют для вполне определенной игры, являются оптимальными в этом смысле. Можно сказать, что игра является вполне определенной, если значение игры равно одному из элементов матрицы.

Равенства (13) показывают, что, выбрав свою оптимальную стратегию хп, первый игрок обеспечивает себе выигрыш, равный значению игры. Больше этого он получить не сможет, если только второй игрок также выберет свою оптимальную стратегию. Если один из игроков выберет оптимальную стратегию, то второй, уклоняясь от оптимальной стратегии, может только ухудшить свой выигрыш.

Оптимальные стратегии игроков не единственны, но все, сказанное выше, относится к любой паре оптимальных стратегий, так как ка <дая из них получается из какого-нибудь решения соответствующей задачи линейного программирования, а равенство (12) из котсрого следует (13), имеет место для любых двух решений пары сопряженных задач.

Совокупность оптимальных стратегий, например, первого игрока образует выпуклое подмножество в множестве его смешанных стратегий, и каждая из оптимальных стратегий — выпуклая комбинация некоторых, но, возможно, не всех чистых стратегий. В разные оптимальные стратегии могут входить разные выборы чистых стратегий. Впрочем, возможно, что и одна и та же смешанная стратегия раскладывается в выпуклую комбинацию двух различных наборов чистых стратегий.

Надо помнить, что значение игры — это математическое ожидание выигрыша первого игрока. В любом случае может быть реализована только конечная последовательность повторений игры. Пусть игроками приняты их оптимальные стратегии Цх', .... х™|| и | у^, .... упй || и при каждом повторении игры t-я и /-я чистые стратегии выбираются с вероятностями х< и у^ соответственно. Тогда средний выигрыш первого игрока при увеличении числа повторений стремится к значению игры. Все рассуждения о свойствах оптимальных стратегий следует понимать только в таком смысле.

Можно ли извлечь пользу из смешанных стратегий, если реализуется небольшое число повторений, или просто игра играется один раз? Ответ на этот вопрос, так же как и подробное изложение теории матричных игр, можно найти в книге Льюса и Райфы [20].

В заключение хотелось бы сделать замечание о логической связи некоторых теорем этой главы. Одной из основных теорем является теорема Фаркаша о неравенствах—следствиях системы

линейных неравенств. Теорема двойственности в линейном программировании, по существу, прямо из нее вытекает, так как при доказательстве теоремы двойственности, кроме теоремы Фаркаша, используется только принцип Дедекинда непрерывности множества вещественных чисел. В свою очередь теорема о максимальном потоке и основная теорема теории матричных игр получены прямым применением теоремы двойственности. Доказательство предложения 15 § 1, играющего роль леммы при доказательстве теоремы Фаркаша, довольно тяжелое. Но как мы видим, усилия, на него затраченные, приводят к замечательным результатам.

ВЫЧИСЛЕНИЕ КОЭФФИЦИЕНТОВ ХАРАКТЕРИСТИЧЕСКОГО МНОГОЧЛЕНА

Рассмотрим квадратную матрицу А порядка п. Ее характеристический многочлен мы запишем в виде

det (А — Х£) = (— 1 )я (Xя + ахХ”-1 +... + а„)

и найдем числа cq, ..., а„, только множителем (—1)” отличающиеся от коэффициентов характеристического многочлена.

Пусть Хъ ..., Х„ — характеристические числа матрицы А, причем каждое из них повторено столько раз, какова его кратность. Вещественности характеристических чисел не требуется. Введем обозначение

<тй= i>?(1)

для суммы степеней характеристических чисел.

Предложение 1. Коэффициенты аг, ..., ап удовлетворяют соотношениям

— Аа/, = Од + ai<jfc_i +...-ра<;+1О1, к=\, ..., п.(2)

Для доказательства воспользуемся выражением коэффициентов многочлена через его корни

^ = (-1? s Ч-Ч-<3)

Формулы (3), называемые формулами Виета, легко получить, если записать многочлен в виде произведения

(X-Xi)...(X-Xn) и раскрыть скобки.

Найдем произведение «уо»-/ при произвольном /. Согласно равенствам (1) и (3)

(-1)^0^=^ хА/ ^

V-1 /V1 <-<*^/

Перемножая суммы почленно, мы можем записать произведение в виде Лу + Му, где

Л; = У Х^ . . . X, + • • • + S \ ' * ' ^^-^(4)

<<<!<... <1^^<...<{^<1

— сумма тех членов, которые получаются при I, отличном от ii> •••> ik-ji а.

М/ = 2 4+’...^+...+ 5 Ч-^ <5>

Ч<-<^-/'1<-<Ч-/

—сумма членов, получающихся при i, равном одному из 1Ъ ..., ik_j. Как нетрудно заметить, М/ = Л/+1. Поэтому, складывая произведения О;ак_;, мы сможем привести подобные члены:

к — 16—1

2 о,ам = 2 (_1)^(Л/. + М/) = (-1)^Л1-М,_1.(6)

/ = 1; = i

При / = 1 все суммы в равенстве (4) совпадают, и мы имеем Л1 = (—l)*£a*. При j — k — 1 в формулах (5) остается только одна сумма, и в ней в каждом слагаемом только один множитель Ч* Итак, М1 = од. Теперь в силу (6) мы имеем

6 — 1

^, ^i^k—j ™ k^k ^kii=l■

что совпадает с доказываемым равенством.

Пока мы не использовали того, что рассматриваемый многочлен — характеристический многочлен некоторой матрицы. Это обстоятельство можно использовать для нахождения сумм (1). Действительно, согласно предложению 9 § 4 гл. II характеристические числа матрицы Л* равны ^,..., Так как след матрицы есть сумма ее характеристических чисел,

tr Л» = аА.(7)

Найдя таким образом числа ок, мы можем последовательно применить формулы (2) для нахождения всех коэффициентов ак, к = 1, ..., п.

Усовершенствование этого метода, введенное Д. К. Фаддеевым* в книге [35], позволяет совместить нахождение степеней матрицы, с подстановкой в формулы (2). Для этого проделывается следующая последовательность вычислений. Положим

АТ = А, «! = — tr Ль В1 = Л14-«1Д. Затем

А^ = A Въ (Xj = —2" tr А^, В^ = А^ -|- сс^Е

и так далее. Выпишем последние равенства:

Л л—1 = АВп—2, <Хл-1 = п । tr Лл_^, Вп_^ = An—i A* ®n—iE и

■ А„ = АВ„_1,«„=—■! 1гЛ„,В„ = А„4-а„Е.

Докажем, что так определенные числа аь ..., а„ удовлетворяют равенствам (2) и, таким образом, только множителем (—1)” отличаются от коэффициентов характеристического многочлена матрицы А.

С этой целью отметим сначала, что

Аь = Ак + ахАк-х +...+ «#,-!/!,(8)

как нетрудно проверить с помощью метода полной индукции. След матрицы — линейная функция от ее элементов. Поэтому

tr Ак = tr Ак + «! tr Ли + -. . + «н tr A.

Так как 1гЛА =— kafc, последнее равенство совпадает с равенством (2).

Наша задача выполнена, но построенная последовательность матриц Вх, ..., Вп заслуживает того, чтобы поговорить о ней подробнее. Из равенства (8) легко видеть, что

Bk = Ак + с^ +... + аь-хА + ahE

и, в частности,

Вп = Ап-\-ахАп-х-\-• ..-\-а.пЕ = 0'

согласно теореме Гамильтона —Кэли. Отсюда следует, что Ап = = АВп_х = — »пЕ. Мы знаем, что свободный член характеристического многочлена равен детерминанту матрицы. Поэтому для невырожденной матрицы ct„40 и

А-х = — (anyxBn_v

Таким образом, мы пришли к выражению для обратной матрицы, полученному на стр. 95, но теперь явно указана последовательность вычислений, приводящая к А-1.

Рассмотрим матрицу-

Q W — Хп'хЕ + Х^Вх + • • • + ХВп_2 4- В„_х.

Для нее мы имеем

(Л — XE^QtK) = — ХпЕ^-Хп-х (Л — Вх) + • • • + Х^АВп_2 — Вл_х)4-АВ„_х.

Так как ABk~x — Bk = акЕ длявсех k=\,...,n и АВп-х = — апЕ, мы получаем равенство

(Л-Х£)9(Х) = (—l^p^E,

в котором р (X) — характеристический многочлен А. Поэтому в том случае, когда X не является характеристическим числом,

и матрица (—1 )я+1 Q — взаимная для А — ХЕ, т. е. ее .транспонированная составлена из алгебраических дополнений соответствующих

элементов матрицы А—ХЕ. Так как миноры — непрерывные функции от элементов матрицы, Q(X) будет взаимной для А — ХЕ при всех X.

Пусть теперь X* —характеристическое число матрицы А. Тогда (A-)^QM=O,

и для каждого столбца матрицы Qit = Q(Xk) имеем

(Л - ХьЕ) q = 0.1

Таким образом, ненулевые столбцы матрицы Qfe являются собственными векторами матрицы А, принадлежащими значению Хм.

К сожалению, в общем случае матрица Qk может оказаться нулевой. В этом легко убедиться, если найти Q(l) для матрицы Л, равной единичной матрице второго порядка.

Однако не трудно получить условие, достаточное для того, чтобы указанным способом могли быть найдены все собственные векторы матрицы А. В самом деле, Q (ХА) — линейная комбинация матриц В,-, и, следовательно, многочлен относительно А степени, не большей чем п — 1. Допустим, что все характеристические числа А различны. Тогда минимальный многочлен А имеет степень п, и потому Qk не может равняться нулю.

Если характеристические числа А различны, то собственные подпространства имеют размерность 1, и все столбцы матрицы Q* должны быть пропорциональны.

ЛИТЕРАТУРА

Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание.—М.: Наука, 1977.

Беллман Р. Введение в теорию матриц.—М.: Наука, 1969.

Беклемишев Д. В. Курс аналитической геометрии и линейной алгебры.— М.: Наука, 1980.

БулавскийВ. А., Звягина Р. А., Яковлева М. А. Численные методы линейного программирования. — М.: Наука, 1977.

Воеводин В. В. Вычислительные основы линейной алгебры.—М.: Наука, 1977.

Воеводин В. В. Линейная алгебра. — М.: Наука, 1980.

Воеводин В. В. Численные методы алгебры. — М.: Наука, 1966.

Гантмахер Ф. Р. Теория матриц. — М.: Наука, 1967.

Глазман И. М., Л ю б и ч Ю. И. Конечномерный линейный анализ. — М.: Наука, 1969.

Гольштейн Е. Г., Юдин Д. Б. Задачи линейного программирования транспортного типа. —М.: Наука, 1969.

Данциг Дж. Б. Линейное программирование, его применения и обобщения. — М.: Прогресс, 1966.

Дрейфус М., Г а н г л о ф К. Практика программирования на фортране.-t-M.: Мир, 1978.

И к р а м о в X. Д. Задачник по линейной алгебре. — М.: Наука, 1975.

Карманов В. Г. Математическое программирование.—М.: Наука, 1975.

К о с т р и к и н А. И., Манин Ю. И. Линейная алгебра и геометрия. — М.: Изд-во МГУ, 1980.

Кудрявцев Л. Д. Курс математического анализа. Т. 1, II. — М.: Высшая школа, 1981.

Ланкастер П. Теория матриц. — М.: Наука,-1978.

Л а п п о - Д а н и л е в с к и й И. А. Применение функций от матриц к теории линейных систем обыкновенных дифференциальных уравнений. — М.: Гостехиздат, 1957.

Линейные неравенства и смежные вопросы: Сб. статей под ред. Г. Куна и А. Таккера.—М.: ИЛ, 1959.

Л ь ю с Р. Д., Райфа X. Игры и решения. — М.: Мир, 1981.

Мальцев А. И. Основы линейной алгебры. — М.: Наука, 1970.

Маркус М., Минц X. Обзор по теории матриц и матричных неравенств. — М.: Наука, 1972.

Матричные игры: Сб. перев. под ред. Н. Н. Воробьева.—М.: Физматгиз, 1961.

Н и к а й д о X. Выпуклые структуры и математическая экономика. — М.: Мир, 1972.

Островский А. Решение уравнений и систем уравнений.—М.: ИЛ, 1963.

П а р о д и М. Локализация характеристических чисел матриц и ее применения.— М.: ИЛ, 1960.

Постников М. М. Линейная алгебра и дифференциальная геометрия. — М.: Наука, 1979.

Розанов Ю. А. Лекции по теории вероятностей. — Мл Наука, 1968.

Самарский А. А. Введение в теорию разностных схем. — М.: Наука, 1971.

Себер Дж. Линейный регрессионный анализ.—М.: Мир, 1980.

Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. — М.: Наука, 1974.-

Тьюарсон Р. Разреженные матрицы. — М.: Мир, 1977.

Уилкинсон Дж. Алгебраическая проблема собственных значений. — М.: Наука, 1970.

Уилкинсон Дж., Р а й н ш К. Справочник алгоритмов на языке алгол. Линейная алгебра.—М.: Машиностроение, 1976.

Ф а д д е е в Д. К., Фаддеева В. Н. Вычислительные методы линейной алгебры. — М.: Физматгиз, 1963.

Федорюк М. В. Обыкновенные дифференциальные уравнения.—М.: Наука, 1980.

Форсайт Дж., Молер К. Численное решение систем линейных алгебраических уравнений. — М.: Мир, 1969.

Форсайт Дж., Малькольм М., М о у л е р К. Машинные методы математических вычислений. — М.: Мир, 1980.

Ху Т. Целочисленное программирование и потоки в сетях. — М.: Мир, 1974.

Черников С. Н. Линейные неравенства. М.: Наука, 1968.

Ш и л о в Г. Е. Математический анализ. Конечномерные линейные пространства. — М.: Наука, 1969.

Ю д и н Д. Б., Гольштейн Е. Г. Линейное программирование. — MJ Физматгиз, 1963.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

Конус двойственный 249— заостренный 240— тупой 240Коэффициент перекоса 132Конус двойственный 249— заостренный 240— тупой 240Коэффициент перекоса 132Алгоритм деления с остатком 6$

Конус двойственный 249

— заостренный 240

— тупой 240

Коэффициент перекоса 132

Конус двойственный 249

— заостренный 240

— тупой 240

Коэффициент перекоса 132

Алгоритм Евклида 55

Диализ ошибок обратный 114

— — прямой 114

Базис задачи л. п. 291

—— допустимый 291

сингулярный 17, 29

— Циклический 61

Локализационные круги 106

Луч 236

— крайний 244

Вектор внутренний 238

— крайний 244

— присоединенный 66

Вершина 263

Вещественная часть преобразования 87

Внутренность конуса 238

— — относительная 238

Выпуклая комбинация 256

— оболочка 256

Выпуклое множество 42, 257

— — многогранное 259

Выпуклый конус 236

— многогранник 259

Вырожденная вершина 289

— задача 290

Главный элемент 143

Граничное подпространство 236

Грань 239, 263

— минимальная 239

Жесткое неравенство 237, 269

Жорданов базис 69, 71

Жорданова клетка 71

— нормальная форма 72

— цепочка 66

Задача двойственная 279

— о максимальном потоке 310

— о назначениях 316

— размещения 315

— с верхними ограничениями 304

— о двусторонними ограничениями 304

— транспортная 306

Запятая плавающая 112

— фиксированная 113

Зацикливание 305

Значение игры 325

Значения на спектре 84

Игра 317

— вполне определенная 320

— динамическая 318

— конечная 318

— матричная 318

— симметрическая 318

— о нулевой суммой 317

Итерационное уточнение 166

Масштабирование 145

Матрица вычислимая 120

— диагональная 201

— двойного описания 250

— жорданова 72

— идемпотентная 198

— клеточно диагональная 64

— ковариаций 232

— ленточная 121

— перестановки 142

— почти вырожденная 118

— — треугольная 182

— псевдообратная 193

— равновесная $48

— разреженная 120

— регрессии 129

— с доминирующей диагональю Юб

— сопровождающая 102

— треугольная 33, 136

— трехдиагональная 184

— фундаментальная 99

Матрицы компонентные 87

— подобные 72

Машинное е 114

Метод вращений 156, 171

— Гаусса 134, 149

— Гревиля 222

—* Жордана 138

— квадратного корня 151

— наименьших квадратов 226

— оптимального исключения 137

— отражений 152

— переортогонализацин 214

— последовательных смещений 167

— потенциалов 310

— простой итерации 162

— степенной 171

— — обратный 174

— Якобн 165, 171

Методы исчерпывания 178

Мнимая часть преобразования 37

Многочлен аннулирующий 59

— интерполяционный 88, 90

— матричный 57

— минимальный 60

Наибольший общий делитель 64

Наименьшее общее кратное 56

Невязка 158

Норма 39

— евклидова 40, 60

— индуцированная 46

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

Норма кольцевая 47

— мажорирующая 42

— согласованная 45

сохраняющая единицу 46

— спектральная 48

— унитарная 40, 50

Нормы эквивалентные 42

Нормальная система 189

— форма игры 318

— — матрицы 138

Образующие конуса 243

Общее решение 260

Ограниченное множество 258

Окрестность 39

Ортогональное дополнение 7

Остаток при делении 53

Остаточная сумма квадратов 233

Остов конуса 243

Отношение Релея 22

— — обобщенное 186

Отображение псевдообратное 200

— сжимающее |С2

— сопряженное 9

Отождествление 85

Отражение 152

Отрезок 42

Оценка 227

— замещения 293

— линейная 230

— несмещенная 230

— точности апостериорная 160

— — априорная 160

Ошибка 230

— округления 114

Переменная дополнительная 287

— искусственная 298

Погрешность 115, 158

Подпространство корневое 62

— собственное 32

— циклическое 61

Показатель нильпотентности 61

Полная система решений 243

Полупространство 235

Преобразование нильпотентное 61

—- нормальное 34

— нулевое 59

— простой структуры 73

— сопряженное 12

Преобразования перестановочные 32

Принцип граничных решений 271

— неподвижной точки 162

Проблема собственных значений 170

Проектирование 85

Пространство нормированное 39

— эрмитово сопряженное 20

Псевдобазис 301

Псевдорешенне 190

Разложение полярное 25

— сингулярное 18, 219

— скелетное 196

— спектральное 87

Размерность конуса 236

— многогранного множества 262

Разрез сети 314

— — минимальный 315

Расстояние 39

Ребро 242, 263

Регрессор 229

Режим накопления 148

Решение игры 325

Ряд матричный 78, 97

Сеть 310

Симплекс 322

Симплекс-метод 286

— — двойственный 303

Симплексная таблица 295

Система возмущенная 115

— невозмущенная 115

— ограничений 276

Спектральный радиус ЮЗ

Столбец неотрицательный 235

Стратегия 318

— оптимальная 320, 325

— сметанная 321

— чистая 320, 321

Сумма множеств 240

— прямая 63

— ряда 78

Сфера единичная 22, 41

Схема единственного деления 135

Сходимость по норме 39

— по форме 181

— поэлементная 52

Теорема Гамильтона — Кэли 66

— двойственности 280

— Жордана 72

— Куна — Таккера 285

— о максимальном потоке 315

— отделимости 251

— Фаркаша 247, 269

— Фредгольма 12

Точка внутренняя 278

— допустимая 276

— крайняя 265

Фундаментальная система решений 243

Функции линейно зависимые 227

— параметрические 231

Функция Лагранжа 285

— матричная 77, 96

— — регулярная 78

— полулинейная 19

— целевая 276

Частное двух многочленов 53

Числа сингулярные 17, 29

Число обусловленности 123

— _ спектральное 124

Эквивалентное возмущение 159

Элиминативная форма 297

Ядро отображения И

С-норма 40

^•норма 51

1-норма 40

Ц/-разложеиие 139

М-задача 298

М-алгорнтм 180

Ф?-разложение 152

Qr-разложение 213

^Я-раэложевие 214

I, /с /

Вычислим математическое ожидание этого выражения. Для этого заметим, что, согласно формуле (16),

...i,

М (фт]7' —М (ф) М (л7)) = cov (ф,i — j

Поэтому первый член выражения (17) есть

°2 У Ра = о2 tr (Е — АА+).

Второй член — постоянная, и его математическое ожидание равно ему же. В матричном виде этот член равен

(М(л))Ч^-ЛЛ+)М(л),