Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ЛИНЕЙНАЯ АЛГЕБРА И ЕЕ ПРИМЕНЕНИЯ
ИЗДАТЕЛЬСТВО «МИР» МОСКВА 1980
Книга отличается от традиционных руководств по линейной алгебре тем, что материал излагается в тесной связи с многочисленными приложениями. В виде отдельных глав представлены метод исключения Гаусса, ортогональные проекции, положительно определенные матрицы, линейное программирование и теория игр. Автор знаком советским читателям по переводу его (в соавторстве с Дж. Фиксом) «Теории метода конечных элементов» (М.: Мир, 1977).
Книга, несомненно, окажется полезной математикам-прикладникам различных специальностей; она заинтересует также и преподавателей, аспирантов и студентов университетов и втузов, преподающих или изучающих линейную алгебру и ее приложения.
Оглавление
От редактора перевода5
Предисловие7
Глава 1. МЕТОД ИСКЛЮЧЕНИЯ ГАУССА11
Введение11
Пример применения метода исключения Гаусса13
Матричные обозначения и умножение матриц17
Эквивалентность метода исключения Гаусса и разложения на30
треугольные матрицы
Перестановки строк, обращения и ошибки округления39
Ленточные матрицы, симметрические матрицы и их применения52
Обзорные упражнения60
Глава 2. ТЕОРИЯ СИСТЕМ ЛИНЕЙНЫХ УРАВНЕНИЙ62
Векторные пространства и подпространства62
Решение m уравнений с n неизвестными68
Линейная независимость, базис и размерность77
Четыре основных подпространства86
Ортогональность векторов и подпролстранств100
Пары подпространств и произведения матриц113
Обзорные упражнения123
Глава 3. ОРТОГОНАЛЬНЫЕ ПРОЕКЦИИ И МЕТОД125
НАИМЕНЬШИХ КВАДРАТОВ
Скалярные произведения и транспонирование125
Проекции на подпространства и аппроксимации по методу134
наименьших квадратов
Ортогональные базисы, ортогональные матрицы и ортогонализация 146 Грама — Шмидта
Псевдообращение и сингулярное разложение164
Взвешенные наименьшие квадраты174
Обзорные упражнения180
Глава 4. ОПРЕДЕЛИТЕЛИ182
Введение182
Свойства определителя185
Формулы для определителя191
Применения определителей200
Обзорные упражнения208
Глава 5. СОБСТВЕННЫЕ ЗНАЧЕНИЯ И СОБСТВЕННЫЕ210
ВЕКТОРЫ
Введение210
Диагональная форма матрицы221
Разностные уравнения и степени Ak227
Дифференциальные уравнения и экспонента eAt239
Комплексный случай: эрмитовы и унитарные матрицы251
Преобразования подобия и треугольные формы267
Обзорные упражнения277
Глава 6. ПОЛОЖИТЕЛЬНО ОПРЕДЕЛЕННЫЕ МАТРИЦЫ279
Максимумы, минимумы и седловые точки279
Критерии положительной определенности286
Полуопределенные и неопределенные матрицы. Обобщенная задача295
на собственные значения Ax = λBx
Принципы минимума и отношение Релея304
Принцип Релея — Ритца и метод конечных элементов315
Глава 7. ВЫЧИСЛЕНИЯ С МАТРИЦАМИ322
Введение322
Норма и число обусловленности матрицы324
3. Вычисление собственных значений332
Итерационные методы решения системы Ax = b343
Глава 8. ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ И ТЕОРИЯ ИГР 353
Линейные неравенства353
Симплекс-метод360
Теория двойственности374
Сетевые модели388
Теория игр и теорема о минимаксе395
Приложение А. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ, МАТРИЦЫ И407
ЗАМЕНЫ БАЗИСОВ
Приложение В. ЖОРДАНОВА ФОРМА МАТРИЦЫ416
Список литературы423
Решения424
Указатель446
Указатель
Алгебраическая кратность 223
Алгебраическое дополнение 196, 197
Алгоритм Кроута 37
Альтернатива Фредгольма 111
Альтернативная теорема 384, 386
Анализ основных компонент 261, 292
Базис 82
Базисное решение 364
Базисные переменные 71, 364
Бесконечномерное пространство 159,
408
Блочное умножение матриц 205
Блочный степенной метод 333
Бридж 404
Булева алгебра 186
Буняковский 130
Вандермонд 99, 191
Ведущий элемент 13, 34, 50, 56, 184, 289
— — в симплекс-методе 366
— — формула 204, 205
Вектор 18
— невязки 136
Векторное пространство 62—64
Вес 63, 139, 175
Вещественное пространство 65
Взаимно однозначное
преобразование 97, 409
Взвешенная длина 176, 178
Взвешенное скалярное произведение 178
— среднее значение 175
Взвешенные наименьшие квадраты 175
Волновое уравнение 250
Выбор портфеля ценных бумаг 359
Вырожденный угол 366
Галуа 218
Гармоники(гармонические
составляющие) 216, 230, 243, 249
Гаусс 11, 13, 31, 43, 48, 74, 206
Гейзенберг 269
Гейл 386, 403
Гены 235
Геометрическая кратность 223
Гершгорин 351
Гессе 285
Гивенс 301
Гильберт 51, 56, 159, 161, 269, 408,409
Гильбертово пространство 159, 269, 408, 409
Главная подматрица 296
Голуб 350
Грузовые перевозки 234
Гурвиц 246
Данциг 361
Двойственная задача 357, 375
Двухдиагональная матрица 57
Двухточечная краевая задача 53
Дефект 89, 120
Дефектная матрица 216, 223, 275
Диагонализация 221, 258, 272, 303,
314,415
Диагональная матрица 37, 170
Диагональное преобладание 352
Дилемма заключенного 405
Динамическое программирование
394
Дисперсия 146
Дифференциальное уравнение 52,
239, 421
Диффузия 242, 244, 245
Длина 101, 159, 254, 265
— взвешенная 76, 178
Допустимое множество 355, 360, 376
Допустимый вектор 355, 377, 379
Достижимый вектор 384
Дуги сети 388
Единичная матрица 29
Единичный вектор 103
— — в направлении оси координат 78
Единственность решения 95
Жордан 45, 75, 275, 416, 419
Жорданова форма 275, 416, 419
Задача об оптимальном назначении
394
— о бракосочетании 394
— — диете 357, 376
— — коммивояжере 394
— — максимальном потоке 388
— — перевозках 359, 395
— — простом назначении 392
Закон ассоциативности 27
— дистрибутивности 28
— инерции 298
— Кирхгофа 111
— Ньютона 247, 301
— Ома 112
— Сильвестра 298
Замена базиса 414
— переменных 244, 268
Зацикливание 366
Зейдель 345
Значение программы 355
Идемпотентная матрица 140
Изоморфизм 117
Исключение с частичным выбором
ведущего элемента 51
Исправленный симплекс-метод 372
Исходная задача 357, 374
Итеративное уточнение 352
Итерационные методы 322, 343
Калифорния 22, 232, 333
Квадратичная форма 281, 283, 285
Квадратный корень 227, 291
Квантовая механика 225, 269
Кирхгоф 111
Коммутирование матриц 29, 133 225
— — контрпример 28
Комплексное число 216, 251
Комплексно-сопряженное число 252
Комплексный вектор 253, 267
Конечно-разностная матрица 59, 191,
198, 319
Консервативная система 246
Контур 111
Конус 384, 387
Корреляционная матрица 261
Косинус 128, 130, 161
Кососимметрическая матрица 190,
401
Косоэрмитова матрица 263, 264
Коши 130
Коэффициент корреляции 177
— регрессии 175
Коэффициенты влияния 184
Краевая задача 53
Крамер 185, 201
Критерий останова 368, 381
Кроут 37
Кун 379, 403
Лагранж 378
Левая обратная матрица 44, 94, 138,
411
Левое нуль-пространство 92
Левый нуль-вектор 92
Лежандр 162, 164
Лемма Шура 270
Ленбергер 373
Ленточная матрица 52, 58
Леонтьев 238, 239
Линейная зависимость 77
— комбинация 22, 63, 77
— независимость 77, 90, 224
— оболочка 81
Линейное преобразование 97, 407,
410
— программирование 353
Линейность 23, 185, 407
Линейные неравенства 353
Ляпунов 246
Максимум 283
Марковский процесс 232, 235, 244,
245
Массы 249, 301, 315
Масштабирование 51
Матрица 19
— Вандермонда 99
— весов 178
— вырожденная 40, 187
— Гессе 285
— Гильберта 51, 56, 161
— дефектная 216, 223, 275
— единичная 29
— Жордана 275, 417
— «затраты — выпуск» Леонтьева
238
— идемпотентная 140
— инцидентности 112, 389
— квадратный корень 227, 291
— ковариации 177, 179
— конечных разностей 59, 191, 198,
319
— корреляционная 251
— кососимметрическая 190, 401
— косоэрмитова 263, 264
— коэффициентов 19
— ленточная 52, 58
— Мура — Пенроуза 165
— невырожденная 41, 98
— неопределенная 295
— неотрицательная 232, 237, 238
— нижняя треугольная 31
— нормальная 32, 44, 94
— обратимая 44, 188
— обратная 32, 44, 94
— ортогональная 151, 258, 329
— ортонормированная 151
— отражения 141
— отрицательно определенная 236
— перестановки 40, 43, 70, 152
— плохо обусловленная 48, 324
— положительно определенная 178,
285, 287, 331
— полуопределенная 295
— потребление 237
— присоединенная 201
— проектирования 139, 415
— псевдообратная 110, 165
— ранга один 93
— симметрическая 54, 132
— с кратными собственными
значениями 260, 268, 272, 417
— — различными собственными
значениями 222, 224, 260, 272
— ступенчатая форма 69, 76
— транспонированная 55, 131
— трапецеидальная 65
— треугольная 31, 187, 270
— трехдиагональная 54, 336, 341
— унитарная 258, 264, 265
— Хессенберга 118, 336, 341
— хорошо обусловленная 48, 324
— элементарная 31
— эрмитова 256, 272
— эрмитовая к А 255
— эрмитово сопряженная 255
Метан 134
Метод взвешенных наименьших
квадратов 176, 178
— Гаусса — Зейделя 345, 351
— Гивенса 301
— исключения Гаусса 11, 13, 31, 43, 74, 206
— — — с полным выбором ведущего элемента 50
— — — — частичным выбором ведущего элемента 50, 51, 324
— — Гаусса — Жордана 45, 75
— конечных разностей 53
— — элементов 309, 315, 316
— наименьших квадратов 126, 135, 137, 166, 174, 306
— переменных направлений 350
— последовательной верхней
релаксации 346
— сопряженных градиентов 351
— Якоби 336, 344, 351
Минимум 279, 282
Минор 196
Мнимое число 226, 251, 263
Многомерный анализ 280
Многочлены 98, 407
— Лежандра 162, 164
Множители 33
— Лагранжа 378
Множитель, характеризующий сходимость 333, 334
Модуль 253
Молер 48
Мур 165, 182
Начальная задача 211
Невырожденность 68, 98, 122
Недоопределенная система 68
Нейман 48, 236, 269, 402, 403
Нейтральная устойчивость 211, 235, 245
Нелинейная задача о наименьших
квадратах 145
Нелинейное убывание 236
Ненулевое решение 72
Необратимость во времени 244
Неопределенная квадратичная форма 283
— матрица 295
Неотрицательная матрица 232, 237,
238
Неотрицательное решение 384
Неравенство Коши—Шварца—
Буняковского 130
— треугольника 133
— Шварца 130, 133, 159
Несовместная система 68, 126, 138
Нетривиальная комбинация 77
Неустойчивость 211, 235, 245
Нижняя треугольная матрица 31
Нобл 48
Норма 324, 328, 330
Нормальная матрица 274, 277
Нормальные уравнения 137, 330
Нулевая длина 178
— строка 186
Нулевой ведущий элемент 14, 39, 98, 206
— вектор 64, 65
— определитель 182
Нуль-пространство 66, 72, 88, 105, 419
Обобщенная задача на собственные значения 301, 304
— обратная матрица 165
Обобщенный собственный вектор
241, 417
Образ 89
Обратимая матрица 44, 188
Обратимое отображение 97
Обратная матрица 32, 44, 94
— — к произведению 44
— — — транспонированной 133
— — Мура — Пенроуза 165
— — формула 20
— подстановка 14, 35
Обратный степенной метод 333, 334
Обусловленность 48
Общее решение 74
Объединение 115
Ограничения 360, 363, 379
Однородная система 72
Определитель 182
— Вандермонда 191
— матрицы перестановки 189, 191, 194, 206
— свойства 185
— формула 191, 194, 197, 218
— Якоби 183, 207
Оптимальный вектор 355, 377, 379
Ортогонализация Грамма — Шмидта
154, 162, 203, 309, 338
Ортогональная матрица 151, 258, 329
Ортогональное дополнение 107
Ортогональные векторы 101, 102
— подпространства 104
— собственные векторы 257, 263,
274
Ортогональный базис 146
Ортонормированная матрица 151
Ортонормированные векторы 103, 147, 155
— собственные векторы 258, 274
Оси эллипсоида 293, 311
Основная теорема линейной алгебры 92, 108
Основные подпространства 86 119
256
Отношение Релея 307, 309, 312 320
330, 334
Отображение «на» 97, 409
Отрицательноопределенная
квадратичная форма 283
— — матрица 236
— полуопределенная квадратичная форма 283
Ошибка 134, 324, 325
— округления 12, 47, 162, 227, 229
Параболоид 305
Пенроуз 165, 174
Переменная невязки 357, 363
Переопределенная система 126, 143
Пересечение 114
Перестановка 193, 209
— строк 26, 36, 56, 186
Пифагор 100, 153
Плавающая точка 32
Планирование производства 369
Плохо обусловленная матрица 48, 324
Площадь 207
Погрешность (ошибка) 324, 325
Подгонка данных 143, 163
Подматрица 121
Подобные матрицы 268
Подпространство 64
Подсчет числа действий 15, 36, 46,
58, 341
Покер 405
Полный выбор ведущего элемента 50
— квадрат 282, 289
Положительно определенная квадратичная форма 281, 285
— — матрица 178, 285, 287, 331
— полуопределенная квадратичная
форма 283
Полуопределенная матрица 295
Полупространство 353
Последовательность Фибоначчи 128,
135
Почти периодическое движение 249
Правая обратная матрица 44, 94
Правило Крамера 185, 201
Предельная стоимость 382
Представление в виде матрицы 410
Преобразование конгруэнтности 298
— подобия 268, 277, 414, 420
— Хаусхолдера 153, 336, 339
Принцип максимина 311
— минимума 304
— неопределенности Гейзенберга 269
— Релея 307
— Релея — Ритца 315
Присоединенная матрица 201
Присоединенный вектор 418
Проекция 109, 126, 136, 137, 148, 273
Произведение ведущих элементов 57, 184, 191
— матриц 25, 119, 413
— определителей 188
— псевдообратных матриц 176
Пропускная способность разреза 390
Пространство 64
— столбцов 64, 89
— строк 81, 87, 105
Псевдообратная матрица 110, 165
— — произведения 176
— — формула 170, 173
Разбиение на блоки 205
Разделяющая гиперплоскость 385, 386
Разложение определителя на алгебраические дополнения 196
— Холецкого 291, 331
— LDU 37, 38, 55
— LU 12, 34, 70
— LU 120, 172
— QR 157, 338
— Q1ΣQ2T 170, 339
Размерность 84
— основных подпространств 92
Разностное уравнение 53, 227
Разрез сети 390
Разрешимость системы 63
Райнш 323
Ранг 75, 77
— подматрицы 121
— произведения 120
Расстояние 129
Раус 246
Ребро 361, 362
Регрессионный анализ 126, 260
Релаксационный множитель 346
Релей 307, 315
Ритц 315
Ряды Фурье 160, 164
Сверхубывание 243
Свободные переменные 71, 88, 364
— члены 18
Свойства определителя 185
Сдвиг 334, 340
Седловая точка 283, 309, 397
Сетевые задачи 388
— модели 388
Сильвестр 298
Симметрическая матрица 54, 132
Симметрическое исключение 297
Симплекс-метод 360, 361, 372, 379
Сингулярное разложение 170, 330,
339
Сингулярные числа 170, 330
Скалярное произведение 20, 25, 102
— — взвешенное 178
— — в комплексном случае 254, 265
— — функций 160
Слабая двойственность 377
След 218,
Смешанная стратегия 396, 399
Собственное подпространство 214
Собственные значения 182, 213, 263
267, 268
— — кратные 260, 272, 417
— — различные 222, 224, 260, 272
— функции 243
Собственный вектор 213, 230, 257
— — обобщенный 241, 417
Сопрягающий член 149
Сопряженно транспонированная
матрица 255
Спектральная теорема 258, 271
Спектральный радиус 344
Среднее арифметическое 133, 150
— геометрическое 133
— значение 146
Средняя ошибка 134, 142, 143
Стандартный базис 147
Стационарная точка 280
Стационарное состояние 233, 244
Степенные методы 323, 332, 334
Ступенчатая форма матрицы 63, 76
Стюарт 342
Сумма подпространств 115, 118
Существование решения 95"
Таблица для симплекс-метода 367
Такер 379
Теневые цены 382
Теорема двойственности 376
— Кэли — Гамильтона 271
— о кругах Гершгорина 351
— — максимальной точке и минимальном разрезе 390
— — минимаксе 402
— — равновесии 379
— — разделяющей гиперплоскости 386
Теория игр 395
Торп 404
Транспонированная матрица 55, 131
— — определитель 189
— — к обратной 133
— — — произведению 131
Трапецеидальная матрица 69
Треугольная матрица 31, 187, 270
Трехдиагональная матрица 54, 336, 341
Угол 127, 265, 356, 361
Узлы сети 388
Уилкинсон 48, 323, 329, 342
Умножение вектора на матрицу 19, 20
— матриц 25
Унитарная матрица 258, 264, 265
Уравнение теплопроводности 243, 244
Условие оптимальности 368
Условия Куна — Такера 379 — совместности невязок 379, 382, 398
Устойчивость 212, 235, 245, 271
Факторный анализ 260, 261
Фибоначчи 228, 235
Фикс 320
Филиппов 276, 418
Формула для ведущего элемента 204, 205
— — обратной матрицы 20
— — определителя 191, 194, 197, 218
— — псевдообратной матрицы 170, 173
Форсайт 48
Фредгольм 111
Функциональное пространство 158,
159
Функция стоимости 355, 360, 368
Фурье 160, 164
Характеристический многочлен 213, 217, 269
Характеристическое уравнение 213, 217
Хаусхолдер 153, 336, 339
Хессенберг 118, 336, 341
Хокней 350
Холецкий 291, 300, 331
Хорошо обусловленная матрица 48,
324
Целевая функция 355
Цена игры 397, 402
Цепочка векторов 418
Частичный выбор ведущего элемента
50, 324
Частное решение 74
Частота 215, 248
Четная перестановка 206
Численное интегрирование 99
Число обусловленности 323, 325, 328
Шахматы 404, 406
Шварц 130, 133, 159
Ширина ленты 58 Шур 270
Экономика 236, 238, 263, 376
Экспонента от матрицы 239, 240, 244,
422
Экспоненциальное решение 215, 239, 240, 244
Элементарное преобразование 186
Элементарные матрицы 31
Эллипс 293
Эллипсоид 294, 304, 311
Эпидемия 234
Эрмитова матрица 256, 272
Эрмитово сопряженная матрица 255
Ядро 89
Якоби 336, 344, 351
Якобиан 183, 207
Янг 348
«Ящичные» ограничения 389
LDU-разложение 37, 38, 55
LU-разложение 12, 34, 70
L U -разложение 120, 172
QR-алгоритм (метод) 323, 332, 340,
341
QR-разложение 157, 338
Q1ΣQ2T -разложение 170, 339
От редактора перевода
Традиционные курсы линейной алгебры, читаемые в высших учебных заведениях, и соответствующие учебные пособия, как правило, мало затрагивают прикладную сторону предмета. Но в то же время линейная алгебра служит основой всех методов вычислительной математики, являясь в этом смысле чисто прикладной наукой.
Предлагаемая вашему вниманию книга написана известным американским математиком Гильбертом Стренгом на основе курса лекций для студентов Массачусетского технологического института, который читался им с учетом именно этих обстоятельств, и это оказало существенное влияние как на стиль изложения материала, так и на его выбор. Например, в виде отдельных глав здесь представлены метод исключения Гаусса, положительно определенные матрицы и даже линейное программирование, и в то же время жорданова форма матрицы и линейные преобразования рассматриваются в виде кратких приложений. В книге рассматриваются также вопросы об ортогональном проектировании векторов на подпространства и дается представление о методе конечных элементов, который в настоящее время становится основным средством приближенного решения уравнений математической физики. Отдельная глава посвящена вычислениям с матрицами и, в частности, итерационным методам решения систем линейных алгебраических уравнений, играющим важную роль в вычислительной математике.
Каждая глава содержит большое число примеров и упражнений, которые также призваны способствовать развитию у читателя навыков в решении прикладных задач.
От редактора перевода
Написанная доступным языком, эта книга, несомненно, окажется полезной для широкого круга читателей: математиков- прикладников, аспирантов и студентов многих специальностей университетов и втузов. Она заинтересует также преподавателей курсов линейной алгебры—как с точки зрения методологии, так и с точки зрения максимальной приближенности теории к приложениям.
Перевод глав 1, 2, 6, 7 выполнен Ю. А. Кузнецовым, глав 3, 4, 5, 8 и приложений—Д. М. Фаге.
Г. И. Марчук
Предисловие
Я считаю, что линейная алгебра преподается сейчас слишком абстрактно. Конечно, это утверждение спорно и, быть может, слишком спорно, чтобы быть верным. Но я убежден, что настоящее руководство должно объяснять существо линейной алгебры и развивать математическое мышление читателей — ведь этот предмет столь же фундаментален, как математический анализ, столь же полезен и имеет такие же богатые приложения. Кроме того, линейная алгебра доступнее анализа, и это обстоятельство слишком важно, чтобы им пренебрегать.
Разумеется, нынешнее состояние дел с линейной алгеброй вполне объяснимо. Ее преподавание дает прекрасную возможность иллюстрировать точность математических рассуждений и построения доказательств. Это достоинство я сознаю, ценю и надеюсь сохранить, и мне всегда было приятно читать лекции именно в таком стиле. Однако, когда я начал экспериментировать в Массачусетском технологическом институте с различными вариантами курса, я обнаружил еще одно его достоинство: преподавание линейной алгебры не только позволяет иллюстрировать единство двух важнейших черт математики — абстрактности и приложимости, но и постоянно побуждает подчеркивать это единство.
Так повелось, что большинство изучающих линейную алгебру вязнет в абстракциях и не доходит до приложений. И очень многие студенты, особенно нематематических отделений, вовсе не выбирают этот курс. Даже самые способные наши студенты приобретают тенденцию к постижению абстракций, но остаются беспомощными в вычислениях — например, они решают системы линейных уравнений по правилу Крамера, а собственные значения понимают только как корни характеристических уравнений. В силу всего этого возникает сильное желание сделать преподавание нашего предмета более полезным и более доступным.
Мы надеемся изложить курс линейной алгебры так, чтобы его изучение приобрело смысл для широких кругов студентов самых разных уровней. Это, конечно, не означает, что мы задумали написать своего рода поваренную книгу по алгебре — предмет заслуживает большего. Мы просто концентрируем внимание не на строгости изложения ради ее самой, а на сути понятий, всюду стараясь скорее объяснить, нежели доказать. Некоторые определения вводятся формально, но многие появляются в процессе обсуждения. Точно так же строги и точны лишь некоторые, а не все доказательства. Разумеется, в каждом случае имеется строгая теория, которая лежит в основе изложения; она должна быть разъяснена и подкреплена примерами.
При построении любого курса имеется специфическая трудность, которую нельзя отложить на более поздний срок: с чего начать курс? Большинство студентов начинают его слушать, уже имея некоторые представления о линейных уравнениях. Тем не менее мы убеждены, что изучение линейной алгебры должно начинаться с основной задачи о решении системы п уравнений с п неизвестными, причем решаться эта система должна простейшим и наиболее употребительным способом — методом исключения Гаусса (а не по правилу Крамера!). К счастью, несмотря на простоту этого метода, имеется ряд моментов, которые являются центральными для его понимания и новыми почти для каждого студента. Наиболее важно то, что метод исключения эквивалентен матричному разложению: матрица коэффициентов разлагается в произведение треугольных матриц. Это является прекрасным введением к матричным обозначениям и к правилу умножения матриц.
Другая трудность состоит в правильном выборе темпа изложения. Если предполагать, что операции с матрицами уже знакомы студенту, то материал первой главы нужно излагать не слишком медленно, поскольку следующая глава потребует от читателя значительных усилий. Ее цель состоит в том, чтобы объяснить смысл уравнения Ах = b глубже, чем позволяет метод исключения. Я считаю, что введение четырех основных подпространств—пространства столбцов матрицы А, пространства ее строк и их ортогональных дополнений (двух нуль-пространств) — дает эффективный способ построения примеров линейной зависимости и независимости, а также хорошо иллюстрирует идеи базиса, размерности и ранга. Кроме того, с помощью понятия ортогональности обычная геометрия трехмерного пространства естественным образом распространяется на n-мерный случай. И, разумеется, эти четыре основных подпространства служат ключом к пониманию уравнения Ах = Ь.
Главы 1 —5 являются сердцевиной курса линейной алгебры.
В них содержится большое число примеров из физики, техники, теории вероятностей и статистики, экономики и биологии. (Здесь рассматривается, в частности, геометрия молекулы метана и даже намечается способ применения факторного анализа в психологии, который мои коллеги по МТИ отказываются излагать студентам!) В то же время ясно, что наша книга не претендует на описание всех возможных применений матриц. Это — всего лишь начальный курс линейной алгебры, и наша цель состоит не в изложении таких применений, а в подготовке к ним. И такая подготовка может быть успешной лишь в том случае, если удастся добиться хорошего понимания теории.
Теория в книге представлена достаточно подробно. После изучения в гл. 2 векторных пространств в гл. Змы изучаем проекции и скалярные произведения, в гл. 4— определители и в гл. 5—собственные значения. Я считаю, что инженеры и другие лица, интересующиеся приложениями, должны обратить особое внимание на гл.5, где делается упор на использование диагонализации (включая спектральную теорему); жорданову форму матриц мы отнесли в приложение. Каждая глава оканчивается набором обзорных упражнений и построена таким образом, что последний параграф является дополнительным; это относится также и к § 3.4 о псевдообратных матрицах. Для семестровых или полусеместровых курсов преподаватель должен сделать выбор между положительно определенными матрицами (из гл. 6) или линейными программами (из гл. 8) в зависимости от интересов слушателей; я надеюсь, что § 8.1 и 8.5 дают краткое, но полезное введение в линейное программирование и теорию игр.
Заметим, что книга может послужить основой для трех различных курсов. Первый из них — вычислительная линейная алгебра—должен включать материал всей гл. 1, наиболее существенные факты из гл. 2 — 6 и, наконец, гл. 7 о вычислениях и §8.2 о симп- лекс-методе. Второй курс—линейная алгебра для статистиков; в нем должны быть полнее изучены гл. 3 и 6. Третья возможность — рассматривать, как это делают экономисты, неравенства наряду с уравнениями, и тогда нужно возможно скорее перейти от уравнения Ах = Ь к линейному программированию и двойственности.
Мы надеемся на благосклонное внимание математиков, которые просто обучают основам линейной алгебры. Это —истинная цель нашей книги и хочется думать, что математиков не отпугнут многочисленные «подсчеты числа операций» и другие замечания вычислительного характера, особенно в гл. 1. С практической точки зрения важность таких замечаний очевидна. Но они имеют и серьезную теоретическую цель—способствовать более детальному изучению процесса исключения посредством фактического подсчета числа шагов. Обычно я прошу аудиторию на первой или второй лекции проделать такой подсчет, и результаты оказывают-
ся совершенно непредсказуемыми. Однако нет нужды обсуждать этот или другие вычислительно-ориентированные вопросы в аудитории; любой учебник должен и дополнять, и суммировать материал лекций.
Итак, необходима книга, которая позволит читателям успешно овладеть приложениями и в то же время научит их математике, лежащей в основе этих приложений. Именно такую книгу я и попытался написать.
За помощь в ее написании мне ■ хочется особенно поблагодарить Тома Слобко, который постоянно подбадривал меня, Урсулу, которая с такой милой добротой перепечатывала весь материал, и самое для меня драгоценное—мою семью. Есть еще и более ранний долг, которого я никогда не смогу оплатить, —это долг перед моими родителями. Я посвящаю им свою книгу в надежде, что они поймут, как много они сделали для меня. Спасибо им обоим.
Гильберт Стренг
Глава I
МЕТОД ИСКЛЮЧЕНИЯГАУССА
§ 1.1. ВВЕДЕНИЕ
Решение систем линейных уравнений —это центральная задача линейной алгебры. Наиболее важными в тоже время наиболее простым является случай, когда число неизвестных равно числу уравнений. Поэтому мы начнем с задачи, когда задано п уравнений с п неизвестными.
В курсе высшей алгебры рассматриваются два в каком-то смысле конкурирующих способа решения систем уравнений. Первым является метод исключения. Сначала некоторые кратные первого уравнения системы вычитаются из других уравнений, с тем чтобы устранить из этих уравнений первое неизвестное. В результате возникает меньшая система, состоящая из п— 1 уравнений с п—1 неизвестными. Процесс повторяется, пока не останется только одно уравнение с одним неизвестным, которое можно решить непосредственно. Теперь нетрудно произвести обратный ход и определить все другие неизвестные в обратном порядке. Соответствующий пример мы скоро приведем. Второй, более сложный, путь дает идея определителя. Существует точная формула, называемая правилом Крамера, которая позволяет вычислить решение (значения неизвестных) как отношение двух определителей порядка п. Из примеров, приводимых в учебниках (человеческого терпения хватает, как правило, на случаи п = 3 или п = 4, но не более), не всегда видно, который путь лучше.
На практике более сложные формулы, содержащие определители, оказываются для вычислителя бедствием, и потому для решения больших систем уравнений постоянно используются алгоритмы исключения. Таким образом, наша первая цель—понять алгоритм, который обычно называется методом исключения Гаусса.
Этот алгоритм обманчиво прост и, вероятно, в некоторых частных случаях уже хорошо знаком читателю. Однако имеются четыре аспекта, которые значительно глубже, чем простая техника исключения, и которые (вместе с самим алгоритмом) мы хотим обсудить в этой главе. Перечислим эти аспекты.
Интерпретация метода исключения как разложения матрицы коэффициентов. Мы введем матричные обозначения для системы уравнений, записывая п неизвестных как вектор х, а п уравнений в матричной форме как Ах = Ь. Тогда метод исключения соответствует разложению матрицы А в произведение LU нижней треугольной матрицы L и верхней треугольной матрицы U. Это очень полезное замечание, которое представляет основу для дальнейших исследований.
Конечно, мы должны для этого ввести понятия матрицы и вектора, правила их умножения, определить для матрицы А транспонированную матрицу АТ и обратную матрицу А-1.
В большинстве случаев метод исключения осуществляется без каких-либо трудностей или модификаций. Но в некоторых исключительных случаях метод не срабатывает — либо из-за неправильного порядка расположения исходных уравнений, что легко исправляется их перестановкой, либо из-за того, что уравнения Ах = Ь не имеют единственного решения. В последнем случае или совсем не существует решения, или решений бесконечно много. Мы хотим выяснить, как в процессе исключения, если он не срабатывает, распознается каждая из этих ситуаций.
Очень важно иметь приблизительный подсчет числа арифметических действий, требуемых для решения системы методом исключения. Во многих практических задачах решение вопроса о числе вводимых неизвестных, когда нам приходится балансировать между необходимой точностью математической модели и общим объемом вычислительной работы, регулируется именно подсчетом числа арифметических действий.
Мы также хотим выяснить, хотя бы на интуитивном уровне, каким образом решение х может оказаться восприимчивым к ошибкам округления. Для некоторых задач решение оказывается восприимчивым, для других нет. Если первопричина восприимчивости становится понятной, то, как правило, легко догадаться, каким образом ее контролировать. Без такого контроля вычислительная машина может выполнить миллионы операций, округляя каждый- результат до фиксированного числа знаков, а полученное «решение» окажется абсолютно бесполезным.
Окончательным результатом этой главы будет алгоритм исключения, который настолько, эффективен, насколько это возможно. Это именно тот алгоритм, который постоянно используется на практике в многочисленных приложениях. И в то же время использование матричных обозначений (матрица коэффициентов, матрицы, осуществляющие каждый шаг исключения или перестановку строк, окончательные треугольные сомнсжители L и U) является одним из основополагающих моментов всей теории.
ПРИМЕР ПРИМЕНЕНИЯ
МЕТОДА ИСКЛЮЧЕНИЯ ГАУССА
Понять проблему легче всего на примере. Рассмотрим систему при п = 3
2и+ и + ю= 1,
4и + у=— 2,(1)
—2u + 2u + ay = 7.
Наша задача — найти значения неизвестных и, и и w, и мы применим для этого метод исключения Гаусса. (Гаусс признан величайшим из математиков, но, разумеется, не из-за этого открытия, на которое ему, вероятно, потребовалось минут десять. Но по иронии судьбы среди всех идей, связанных с его именем, наиболее часто упоминается рассматриваемая нами идея исключения.) Метод начинается с вычитания кратных первого уравнения из других, чтобы исключить и из последних двух уравнений. Нам требуется
вычесть первое уравнение, умноженное на 2, из второго;
вычесть первое уравнение, умноженное на —1, из третьего.
В результате получаем эквивалентную исходной систему уравнений
2и + и+ w— 1,
— 1у — 2w = — 4,(2)
Зи + 2ш= 8.
Коэффициент 2, который стоит при первом неизвестном и в первом уравнении, называется ведущим элементом первого шага исключения.
На втором шаге исключения мы не трогаем первое уравнение. Другие два уравнения содержат только два неизвестных у и w, и, следовательно, к ним можно применить ту же самую процедуру исключения. Ведущим элементом для этого шага является— 1, а кратные этого второго уравнения будут вычитаться из остальных уравнений (в нашем случае остается только одно третье уравнение), чтобы исключить второе неизвестное у. Таким образом, мы должны
вычесть второе уравнение, умноженное на —3, из третьего.
Теперь процесс исключения завершен (по крайней мере в «прямом» направлении). В результате мы получаем упрощенную систему
2и 4- и + w= 1,
— 1у — 2т = — 4,(3)
—4су =—4.
Порядок действий при решении этой системы очевиден. Последнее уравнение дает да=1; подставляя это значение во второе уравнение, мы получаем и = 2; наконец, первое уравнение дает и —— 1. Этот простой процесс называется обратной подстановкой.
Легко понять, как эту идею исключения можно обобщить на случай п уравнений с п неизвестными при сколь угодно больших значениях п. На первом шаге мы используем кратные первого уравнения, чтобы аннулировать все коэффициенты, лежащие под первым ведущим элементом. На втором шаге аннулируются коэффициенты, лежащие под вторым ведущим элементом и т. д. Наконец, последнее уравнение будет содержать лишь последнее неизвестное. Обратная подстановка позволяет получить ответ в обратном порядке, начиная с последнего неизвестного и кончая первым.
Упражнение 1.2.1. Применить метод исключения и обратную подстановку для решения системы
2и— Зи =3,4и—5v-j- ш = 7,2и— и—Зш = 5.
Чему равны ведущие элементы? Выписать три операции, в которых кратное одной строки вычитается из другой.
Упражнение 1.2.2. Решить систему
■2и — у=0,
— и + 2у — ш = 0, — o-|-2to— z = 0, — шЦ-2г = 5.
Теперь мы хотим задать два вопроса. Они могут показаться несколько преждевременными, ведь мы еще только сформулировали рабочий алгоритм, однако ответы на них позволят осветить некоторые особенности данного метода. Первый вопрос: всегда ли процесс исключения приводит к решению, или, иначе говоря, при каких обстоятельствах этот процесс может не сработать? Ответ следующий: если ни один из ведущих элементов не равен нулю, то задача имеет единственное решение, и оно может быть найдено с помощью процессов исключения и обратной подстановки. Если же какой-либо из ведущих элементов окажется равным нулю, то следующий шаг процесса исключения становится неосуществимым.
Если, например, первый ведущий элемент оказался равным нулю, то исключение и из других уравнений будет невозможно. То же самое справедливо для каждого промежуточного шага. Заметим, что промежуточный ведущий элемент может стать равным нулю в течение процесса исключения (как ниже в упраж-
нении 1.2.3), в то время как для первоначальной системы коэффициент на этом месте был отличен от нуля. Грубо говоря, мы не знаем, будет ли промежуточный ведущий элемент равен нулю, до того момента, пока не осуществим все предыдущие шаги процесса исключения.
В большинстве случаев сложности, связанные с нулевым ведущим элементом, можно обойти и продолжить процесс исключения вплоть до нахождения единственного решения системы. В других случаях срыв процесса оказывается неизбежным, поскольку система либо не имеет решения, либо имеет их бесконечно много.
Анализ этой «аварийной» ситуации мы отложим на один из последующих разделов книги.
Второй вопрос—очень практический и, я бы сказал, финансовый. Какое количество арифметических операций требует метод исключения для решения системы п уравнений с п неизвестными"? Если п большое и вместо нас исключение осуществляет вычислительная машина (соответствующую программу вы можете либо где-нибудь взять, либо написать сами), то, поскольку каждый шаг процесса нам известен, мы можем заранее оценить объем машинного времени, требуемого для решения задачи. Не обращая пока внимания на правые части уравнений, подсчитаем количество операций, осуществляемых только в левых частях. Это операции двух видов. Одна из них—это деление на ведущий элемент, чтобы найти число (пусть это будет /), на которое надо умножить «ведущее» уравнение для последующего его вычитания из уравнения, лежащего ниже. Затем, когда мы осуществляем это вычитание одного уравнения из другого, мы непрерывно встречаемся с операцией «умножить-вычесть», т. е. члены ведущего уравнения умножаются на I и вычитаются затем из соответствующих членов уравнения, лежащего ниже.
Предположим, что мы договорились назвать каждое деление и каждое умножение-вычитание простой операцией. В самом начале, когда первое уравнение имеет п неизвестных, для получения в первом столбце каждого из нулей требуется п операций'. одна, чтобы найти множитель I, и п—1 других, чтобы вычислить новые элементы соответствующей строки. Так как ниже первой лежат п—1 строк и, следовательно, требуется обратить в нуль п—1 элементов первого столбца, находящихся ниже ведущего элемента, то первый шаг процесса исключения требует п^п—1) = п2 —п операций. После этого шага первый столбец не изменяется. Заметим теперь, что последующие шаги реализуются быстрее, поскольку уравнения постепенно становятся короче; так, на втором шаге мы работаем с п— 1 уравнениями с п— 1 неизвестными. Когда процесс исключения подходит к к уравнениям, то для реализации следующего шага требуется только £(&—1) = &2—к операций, чтобы обратить в нуль элементы
столбца, находящегося под ведущим элементом (это эквивалентно первому шагу процесса, когда k = n). Таким образом, общее число арифметических операций в левой части уравнений вычисляется по формуле
Р = (п=-ц) + ...+(^-/г) + ...+(12-1).
(Заметим, что последний шаг, когда мы имеем одно уравнение с одним неизвестным, не требует вычислительной работы, что соответствует I2 —1=0.) Окончательно
п п
р = ^^2_^^ = 1 fn 4-1^ (« + 1)— у ц(га+ 1) = ^-=^.
(Проверка легко осуществляется средствами математического анализа. Интеграл от х1 от 0 до п равен и3/3, а интеграл от х от 0 до п равен п2/2, что точно соответствует главным членам обеих сумм.) Если п оказывается достаточно большим, очень хорошей оценкой числа операций является величина Pwn3^.
Обратная подстановка идет значительно быстрее. Последнее неизвестное находится с помощью одной операции (деление на последний ведущий элемент), предпоследнее неизвестное требует две операции (умножение-вычитание и затем деление) и т. д.; Л-й шаг требует только к операций. Таким образом, обратная подстановка в целом требует
Q = У к = 4 п (п + 1)к = 1
операций.
Несколько лет назад почти все математики полагали, что эти числа действительно являются оптимальными, т. е. что систему порядка п общего вида невозможно решить при помощи меньшего числа умножений, чем п3/3. (Были даже теоремы, утверждавшие это, но они были применимы не ко всем возможным методам.) Поразительно, но существовавшее предположение оказалось неверным, и сейчас обнаружен метод, который требует только Сп'^1 операций К счастью для метода исключения, константа С этого нового метода оказывается настолько большой, настолько больше он требует операций сложения по сравнению с методом исключения и настолько логически сложной оказывается программа его реализации, что он представляет скорее теоретический интерес, чем практический. По-видимому, до сих пор не известно, может ли показатель степени быть меньше, чем log2 7.
Упражнение 1.2.3. Применить метод исключения для решения системы u-V о+ш = —2, ,3и4-3п—ш= 6,
и— у+ш =—1.
Когда возникает нулевой ведущий элемент, поменять местами это уравнение с лежащим ниже него и продолжить процесс. Каким числом нужно заменить коэффициент —1 при и в третьем уравнении, чтобы процесс исключения нельзя было продолжить, т. е. чтобы метод исключения не сработал?
Упражнение 1.2.4. Для системы двух уравнений вида
аи-\- Ьи = О,cud-dv = 1,
выписать явно Р = 2 конкретных операций, которые применяются к левой части.
Упражнение 1.2.5. При разумных предположениях о быстродействии вычислительной машины и стоимости машинного времени определить, систему какого наибольшего порядка можно решип, за 1 доллар и за 1000 долларов? Например, используйте величину п3/3 для подсчета общего числа операций и сумму в 1000 долларов как цену одного часа работы вычислительной машины, осуществляющей‘один миллион операций в секунду.
Упражнение 1.2.6 (необязательное). Обычное вычисление произведения двух комплексных чисел
(аф- ib) (с+ id) = (ас — bd)-\-i (bc + ad),
включает вычисление четырех произведений ас, bd, be и ad. Не обращая внимания на мнимую единицу I, можно ли вычислить величины ас—bd и bc-^ad, используя только три умножения? (Вы можете производить сложения без каких-либо ограничений, например, образовать сумму а-\-Ь перед тем, как производить умножение.)
Упражнение 1.2.7. Использовать метод исключения для решения системы и+ 1>+ ш= 6, u+2v+2to=H, 2и + 3о — 4ш = 3.
МАТРИЧНЫЕ ОБОЗНАЧЕНИЯИ УМНОЖЕНИЕ МАТРИЦ
До сих пор в примерах с тремя уравнениями и тремя неизвестными мы могли выписывать все уравнения полностью. Более того, мы могли выписать каждый шаг процесса исключения, т. е. вычитание кратных одной строки из других, которое приводит систему уравнений к более простому виду. Для больших систем этот путь последовательного проведения исключений оказывается, однако, безнадежным; здесь требуется гораздо более краткая форма записи. Сейчас для описания первоначальной системы уравнений мы введем матричные обозначения и определим операцию умножения матриц, чтобы описать операции, упрощающие исходную систему.
Заметим, что в нашем примере
2ц + v-Vw= 1,
4н + у= —2,
—2и + 2о+®= 7
имеются три различных типа величин. Это неизвестные и, у, w, правые части 1, —2, 7 и, наконец, набор из девяти числовых коэффициентов левой части, один из которых оказался равным нулю. Для столбца чисел правой части (это так называемые свободные члены уравнений) мы вводим векторное обозначение
Это трехмерный вектор-столбец. Чтобы представить его геомет
рически, мы можем считать три его компоненты координатами точки в трехмерном пространстве. Обратно, каждой точке в таком пространстве соответствует трехмерный вектор (который мы можем представлять себе как стрелку или отрезок прямой, начинающийся в начале координат и оканчивающийся в этой точке).
Основными операциями над векторами являются сложение двух векторов и умножение вектора на число. Геометрически вектор 2Ь имеет то же самое направление, что и вектор Ь, но будет в два раза длиннее, вектор —2Ь имеет противоположное направление, а вектор Ь-^с получится, если поместить начальную точку вектора с в конечную точку вектора Ь. Алгебраически это озна
чает, что нентно:чает, что нентно:операции над векторамиоперации над векторамиосуществляютсяосуществляютсяпокомпо-покомпо-
чает, что нентно:
чает, что нентно:
операции над векторами
операции над векторами
осуществляются
осуществляются
покомпо-
покомпо-
b-Vc =b-Vc =" 2"—6_ 3_" 2"—6_ 3_
b-Vc =
b-Vc =
" 2"
—6
_ 3_
" 2"
—6
_ 3_
Два вектора могут складываться только в том случае, когда они имеют одинаковую размерность, равную числу их компонент.
Три неизвестных в уравнении также можно записать в век
торном виде:торном виде:вектор неизвестных х =вектор неизвестных х =ииии.Щ.Щрешение х =решение х =
торном виде:
торном виде:
вектор неизвестных х =
вектор неизвестных х =
и
и
и
и
.Щ
.Щ
решение х =
решение х =
Они вновь являются трехмерными вектор-столбцами. Для расположения девяти коэффициентов уравнений мы введем так называемую «матрицу», состоящую из трех строк и трех столбцов. Она называется матрицей коэффициентов и имеет вид
А =А =24—224—21 Г
А =
А =
2
4
—2
2
4
—2
О
1
Нужно заметить, что поскольку в нашем примере число неизвестных равно числу уравнений, А является квадратной матрицей порядка три. В более общем случае, когда имеется п уравнений с п неизвестными, А будет квадратной матрицей порядка п. Наконец, в самом общем случае, когда имеется т уравнений с п неизвестными, матрица коэффициентов имеет т строк и п столбцов и называется матрицей размера тхп или (тх^-матрицей. Так же как и векторы, матрицы можно складывать между собой и умножать на числа, причем эти операции осуществляются покомпонентно. Операции над векторами являются частным случаем операций над матрицами, поскольку векторы можно рассматривать как матрицы, только с одним столбцом. Как и ранее, нужно отметить, что сложение двух матриц возможно только в том случае, когда они имеют одинаковый размер:
“2 Г
’ 1 2"
"3 3'
'2 Г
"4 2"
3 0
+
—3 1
=
0 1
,2
3 0
6 0
_° 4_
_ 1 2_
J 6.
,0 4.
.° 8_
УМНОЖЕНИЕ ВЕКТОРА НА МАТРИЦУ
Теперь мы начнем использовать введенные понятия. Мы хотим переписать систему (1) трех уравнений с тремя неизвестными в более простой матричной форме Ах — Ь. Это выглядит так:
' 2 14 1—2 2' 2 14 1—2 211 Ги11 ГиО иО и1 w1 wГ—27Г—27
' 2 1
4 1
—2 2
' 2 1
4 1
—2 2
11 Ги
11 Ги
О и
О и
1 w
1 w
Г
—2
7
Г
—2
7
Правая часть не вызывает сомнений—это вектор-столбец со свободными членами системы (1) в качестве компонент, а левая часть состоит из вектора х, умноженного слева на матрицу А. Тот факт, что это запись нашей системы, уже подсказывает нам, как будет далее определено произведение вектора на матрицу. А именно, первая компонента вектора Ах вычисляется как «про-
изведение» первой строки матрицы А на вектор-столбец х:
[2 1[2 11] Ги“| ==[2u4-v + ®]-1] Ги“| ==[2u4-v + ®]-(4)(4)
[2 1
[2 1
1] Ги“| ==[2u4-v + ®]-
1] Ги“| ==[2u4-v + ®]-
(4)
(4)
ЧУ
Приравнивая полученное выражение единице, первой компоненте вектора Ь, мы получаем первое уравнение 2н + у + ^= 1 нашей системы. Вторая компонента произведения Ах, равная 4иА-з, определяется второй строкой матрицы А, а третья компонента, равная —2w + 2u + ay,— третьей строкой этой матрицы. Таким образом, матричное уравнение Ах=Ь полностью эквивалентно системе из трех уравнений, с которой мы начинали рассмотрение.
Операция (4) является основополагающей для умножения матриц. Исходными величинами для нее являются вектор-строка и вектор-столбец одинаковой длины, а результатом — обычное число. Это число называется скалярным (внутренним-} произведением двух векторов. Иначе говоря, произведение матрицы размера Ххп (вектор-строка} на матрицу размера пхХ (вектор- столбец} является матрицей размера 1 х 1 (матрицей порядка один):
Пример
[2 4 1]
0
Правило умножения вектора на матрицу непосредственно распространяется с рассмотренного нами случая матрицы порядка 3 на произвольный случай матрицы размера пхп (порядка п}. При ' этом вектор обязательно должен иметь п компонент, т. е. его размерность должна совпадать с порядком матрицы. Если использовать буквы вместо конкретных величин для обозначения элементов матрицы А и компонент вектора х, то их произведе-
ние Ах записывается в виде
' йп <21гti21 °22' йп <21гti21 °22^Цп ^2^Цп ^2_Gnj Оп2_Gnj Оп2^ПП J L^ZZ^ПП J L^ZZЙ11Х1 + • • • + йщхп ' амА + • • • А-агпхп_ап\х1 + • • • "VannxnjЙ11Х1 + • • • + йщхп ' амА + • • • А-агпхп_ап\х1 + • • • "Vannxnj
' йп <21г
ti21 °22
' йп <21г
ti21 °22
^Цп ^2
^Цп ^2
_Gnj Оп2
_Gnj Оп2
^ПП J L^ZZ
^ПП J L^ZZ
Й11Х1 + • • • + йщхп ' амА + • • • А-агпхп
_ап\х1 + • • • "Vannxnj
Й11Х1 + • • • + йщхп ' амА + • • • А-агпхп
_ап\х1 + • • • "Vannxnj
Обратим внимание на элементы а^ матрицы А. Первый индекс элемента а^ указывает номер строки, а второй — номер столбца, и, следе вательно, этот элемент лежит на пересечении г-й строки и /-го столбца. Заметим также, что для записи i-й компоненты вектора Ах можно использовать сокращенное обозначение суммы ^аихг i=\1 1.
С такими обозначениями работать легче, чем с полностью выписанной суммой, но все же они приносят меньше пользы, чем сами матричные обозначения.
Пример
Г2 31 ГГ0J’* L5 ■
__Г(2)(1) + (3)(5)1 Г17
Х 1(4) (1) + (0) (5) J[ 4. 1
Здесь вектор Ах оказывается линейной комбинацией двух столбцов матрицы А, каждый из которых входит в эту комбинацию с коэффициентом, равным соответствующей компоненте вектора х. Иначе говоря, вектор Ах может быть вычислен целиком
по формуле
(6)
вместо приведенных ранее покомпонентных вычислений. Такой подход далее будет использоваться всюду, и потому мы рассмотрим его более детально. Итак, произведение Ах может быть вычислено либо с использованием отдельных элементов матрицы Л, как в (5), либо с использованием целых ее столбцов;
" 24—2" 24—211211211 Г—1О 21111 Г—1О 211= (-1)= (-1)' 2"4—2' 2"4—2"Г + 2 1 2"Г + 2 1 2"Г+ О1"Г+ О1
" 2
4
—2
" 2
4
—2
1
1
2
1
1
2
11 Г—1
О 2
11
11 Г—1
О 2
11
= (-1)
= (-1)
' 2"
4
—2
' 2"
4
—2
"Г + 2 1 2
"Г + 2 1 2
"Г
+ О
1
"Г
+ О
1
Таким образом, произведение Ах является линейной комбинацией столбцов матрицы А.
Ь = —2_ 7_является решениемЬ = —2_ 7_является решениемВ последнем рассмотренном примере выписанная комбинация столбцов матрицы А равна вектору
Ь = —2
_ 7_
является решением
Ь = —2
_ 7_
является решением
2121и, следовательно, векторсистемы Ах = Ь.
2
1
2
1
Упражнение 1.3.1. Вычислить, сначала используя отдельные элементы,
а затем — целые столбцы матрицы А, произведение
Г4Ах = О_4Г4Ах = О_4О 11Г31104 I
Г4
Ах = О
_4
Г4
Ах = О
_4
0 иЫ
Упражнение 1.3.2. Вычислить произведение
3] Г—41.1 I- 3J3] Г—41.1 I- 3JГ1 21
3] Г—41.
1 I
- 3J
3] Г—41.
1 I
- 3J
3 —3
04
lO 1J|
Если А является матрицей размера тХп, а х—вектором размерности п, то какими будут размер и форма произведения Ах?
Упражнение 1.3.3. Предположим, что, сравнивая начало и конец 1977 года, мы получили следующие данные:
из тех, кто в начале года проживали в Калифорнии, 20% выехали, а 80% остались в ней;
из тех, кто в начале года не проживали в Калифорнии, 10% переехали в Калифорнию, а 90% либо остались там, где они проживали, либо переехали в другой штат (не Калифорнию).
Следуя этим предположениям, записать соответствующую систему уравнений в матричном виде и ответить на следующие вопросы:
Если в начале года 30 миллионов проживали в Калифорнии, а 200 миллионов проживали вне нее, то какая ситуация сложится в конце года?
Если в конце года в Калифорнии проживали 30 миллионов, а вне нее 200 миллионов, то какова была ситуация в начале года?
Каково должно быть распределение проживающих в начале года, чтобы оно не изменилось к концу года? Иначе говоря, каково должно быть соотношение в начале года между числом и проживающих в Калифорнии и числом и проживающих вне нее, чтобы к концу года значения и и v не изменились?
Упражнение 1.3.4. Начертить пару перпендикулярных осей и отметить точки х = 2, у=1 и х = 0, у = 3. Провести векторы из начала координат к этим точкам, а также к их сумме |jJ + £3] • Построить соответствующий параллелограмм.
Дополним упражнение 1.3.3 двумя замечаниями. Во-первых, нужно подчеркнуть линейность задачи. Если числа в задаче увеличить (удвоить) соответственно до 60 и 400 миллионов, то ответ также удвоится. Далее, если мы решим дополнительно задачу для 40 и 250 миллионов, то решение для случая 70 и 450 миллионов будет в точности суммой полученных двух решений.
Второе замечание касается вопроса (и) этого упражнения, где надо вычислить числа и и v людей, находившихся соответственно
внутри Калифорнии и вне нее в начале года. Очевидно, что вам
были нужны два уравнения и вы их, вероятно, уже построили: первое уравнение имеет вид 0.8и + 0.1о = 30 и гарантирует проживание 30 миллионов в конце года в Калифорнии, а второе должно гарантировать проживание 200 миллионов вне нее. Наше
замечание следующее: идея производить операции «постолбцово» позволяет рассмотреть эти уравнения одновременно. Правой Г 30"
[0.8м" [0.2мвавших[0.8м" [0.2мвавшихчастью этой системы будет вектор b = 200 , указывающий число проживающих в Калифорнии и вне нее в конце года. Вектор
[0.8м" [0.2м
вавших
[0.8м" [0.2м
вавших
указывает распределение к концу года и людей, прожив начале года в Калифорнии, а вектор q ду — распре
деление к этому же времени и людей, проживавших вне Калифорнии. Сумма этих векторов должна быть равна вектору
Г0.8и [0.2Г0.8и [0.2+ у+ у[0.11[0.9J =[0.11[0.9J =30"20030"200
Г0.8
и [0.2
Г0.8
и [0.2
+ у
+ у
[0.11
[0.9J =
[0.11
[0.9J =
30"
200
30"
200
Таким образом, с «постолбцовых» позиций мы вычисляем такие числа м и и, чтобы комбинация указанных столбцов с этими
коэффициентами в левой части давала в правой части вектор Ь.
так, чтобы пратак, чтобы праВ вопросе (iii) требуется подобрать столбец
так, чтобы пра
так, чтобы пра
вая часть была равна емувая часть была равна емуже, т. е. чтобы год заканчивался так
вая часть была равна ему
вая часть была равна ему
же, как и начинался.
МАТРИЧНЫЙ ВИД ОДНОГО ШАГА ИСКЛЮЧЕНИЯ
К настоящему моменту мы получили короткую запись Ах = Ь для первоначальной системы уравнений. Что же можно сказать относительно операций, осуществляемых в процессе исключения? В нашем примере первый шаг заключался в вычитании первого уравнения, умноженного на два, из второго. Для правой части это означает, что удвоенная первая компонента b вычитается из второй. Мы утверждаем, что тот же самый результат дости-
Е =Е =1—2О1—2Орицу:рицу:11О1ОО1Ооп г гО —217оп г гО —217Г—4 7Г—4 7
Е =
Е =
1
—2
О
1
—2
О
рицу:
рицу:
1
1
О
1
О
О
1
О
оп г г
О —2
17
оп г г
О —2
17
Г
—4 7
Г
—4 7
матрицу специального видаматрицу специального видагается умножением вектора b на
матрицу специального вида
матрицу специального вида
О О"
1 О
О 1
Это проверяется с помощью правила умножения вектора на мат
Первая и третья компоненты вектора b (1 и 7) остаются неизменными (это связано со специальным выбором первой и третьей строк матрицы Еу Новая вторая компонента равна —4 (она появляется в уравнениях (2) после первого шага исключения).
Чтобы сохранить равенства, мы должны применить операцию умножения на £ к обеим частям системы Ах = Ь. Иначе говоря, мы должны также умножить вектор Ах слева на матрицу Е. Эта операция снова вычитает удвоенную первую компоненту из второй, оставляя неизменными первую и третью. После осуществления операции умножения системы на Е новая более простая система (эквивалентная исходной) имеет вид Е(Ах) — ЕЬ. Эта система проще, так как в матрице ЕА возник нулевой элемент под первым ведущим элементом, и эквивалентна исходной, поскольку мы можем восстановить исходную систему, добавив ко второму уравнению новой системы удвоенное первое уравнение. Поэтому обе системы имеют одно и то же решение х. Это обстоятельство оправдывает применение метода исключения Гаусса, так как от шага к шагу решение не изменяется, а найти его становится все легче.
УМНОЖЕНИЕ МАТРИЦ
Теперь мы хотим спросить, какова же будет матрица коэффициентов новой системы Е ^Ах) = ЕЬ’? Простой шаг метода исключения Гаусса, осуществляемый с помощью матрицы Е, преобразует первоначальную матрицу коэффициентов
1 г
1 О
в новую матрицув новую матрицу222 1
в новую матрицу
в новую матрицу
2
2
1 Г
— 1 —2
21
Как и ранее, первая и третья строки матрицы не изменяются, в то время как удвоенная первая строка вычитается из второй. Новая матрица коэффициентов действует на х так же, как если бы сначала умножить его на матрицу Л, а затем Ах умножить на Е, Эта новая матрица называется произведением двух исходных матриц и обозначается через ЕА. Здесь нужно отметить, что обозначение сохраняет порядок, в котором появлялись эти матрицы. Повторим изложенное: ■
1А. Произведением ЕА матриц Е и А называется такая матрица, умножение произвольного вектора на которую эквивалентно умножению этого вектора сначала на матрицу А, а затем на матрицу Е. Иначе говоря, для любого вектора х
(ЕА) х= Е (Лх). (7)
Это правило определяет законы умножения матриц, которые иллюстрируются рис. 1.1 и соотношением (8).
Предположим, что нам заданы две, возможно прямоугольные, матрицы Е и А. Как использовать сформулированное правило для вычисления их произведения ЕА"? Во-первых, форма матриц Е и А должна быть такой, чтобы их произведение имело смысл. Если они являются квадратными, как в нашем примере, то они обязательно должны иметь одинаковые порядки. Если же матрицы Е и А прямоугольные, то они не обязательно должны иметь одинаковые размеры, но число столбцов матрицы Е должно быть равно числу строк матрицы Л. Иначе говоря, если Е — матрица размера 1хт и. Л — матрица размера тхп, т. е. Е имеет т столбцов, а А имеет т строк, то их перемножение возможно. Возьмем некоторый вектор х размерности п, затем вычислим вектор Ах размерности т и, наконец, вектор ЕАх, имеющий I компонент. (В выражении ЕАх мы опустили скобки, поскольку правило (7) выбрано именно так, чтобы сделать их ненужными.) Матрица ЕА имеет / строк, как и матрица Е, и п столбцов, как и матрица А, т. е. произведение матриц размера 1хт и тхп является матрицей размера 1хп.
Теперь мы должны показать, какой же будет матрица ЕА в действительности. Обычный способ—это описать каждый отдельный элемент матрицы ЕА, например элемент, лежащий в z-й строке и j-м столбце: этот элемент является скалярным произведением i-й строки матрицы Е и j-го столбца матрицы А. Так, скалярное произведение последней строки из Е и последнего столбца из А, отмеченных на рис. 1.1, дает последний элемент матрицы ЕЛ:
Рис. 1.1. Иллюстрация умножения матриц.Рис. 1.1. Иллюстрация умножения матриц.^эз^эзеэ»]еэ»]^31^12 Н* ^32^22 "Т ^33^32 4~ ^34^42^31^12 Н* ^32^22 "Т ^33^32 4~ ^34^42°Чг°Чг(5Д)з2 [^gj ё32(5Д)з2 [^gj ё32(8)(8)
Рис. 1.1. Иллюстрация умножения матриц.
Рис. 1.1. Иллюстрация умножения матриц.
^эз
^эз
еэ»]
еэ»]
^31^12 Н* ^32^22 "Т ^33^32 4~ ^34^42
^31^12 Н* ^32^22 "Т ^33^32 4~ ^34^42
°Чг
°Чг
(5Д)з2 [^gj ё32
(5Д)з2 [^gj ё32
(8)
(8)
^22
^32
Пример 1.Пример 1.42_
Пример 1.
Пример 1.
2 31 12 0] Г17 1 01
4 о] [5 —1 0 = [ 4 8 0] *
Например, элемент 17 — (2) (1) -}-(3) (5) является скалярным произведением первой строки матрицы Е и первого столбца матрицы А, а элемент 8 = (4) (2) 4-(0) (—1)—скалярным произведением второй строки из £ и второго столбца из А. Третий столбец матрицы А нулевой и, следовательно, третий столбец матрицы ЕА оказывается нулевым.
Пример 2.
0 Г1 о0 Г1 о2 31 [7 8"7 8 = 2 32 31 [7 8"7 8 = 2 3
0 Г
1 о
0 Г
1 о
2 31 [7 8"
7 8 = 2 3
2 31 [7 8"
7 8 = 2 3
11Здесь матрица Е осуществляет перестановку строк матрицы А.
1
1
Упражнение 1.3.5. Вычислить произведение матриц
■ 1 0 04
£=—2 10и А =
" 2 1 Г
4 1 0
. 1 0 1J
_-2 2 1.
Упражнение 1.3.6. Вычислить произведение матриц
0 О'
1 о
3 1
1 г
1 о
2 1
Упражнение 1.3.7. Перемножить матрицы £ = [1—4] размера 1X2 и ^ = fll размера 2x1. Объяснить, почему для вычисления матрицы ЕА, где
Е— матрица размера 1хт, а А— матрица размера тХп, требуется 1тп отдельных умножений.
Упражнение 1.3.8. Перемножить матрицы
размеров 3X2 и 2X1 соответственно.
Заметим, что последнее упражнение заключается в умножении вектора на матрицу. Правило вычисления произведения матриц ЕА полностью соответствует правилу вычисления произведения Ах.
Более того, так же как произведение Ах, произведение матриц ЕА можно вычислить, используя сразу целые столбцы. Например, первый столбец произведения ЕА является произведением первого столбца матрицы А на матрицу Е. Действительно, взгляните снова на пример
"2 3"
4 0
"12 0
5 —1 0
=
17 1 0
4 8 0
где, вычисляя произведения столбец за столбцом, имеем
"2 3] Г11Г174 О] [5] = 4"2 3] Г11Г174 О] [5] = 4"2 3]2"4 0J [—1."2 3]2"4 0J [—1.Г8Г82 3] ГО4 0] [02 3] ГО4 0] [00"00"0
"2 3] Г11Г17
4 О] [5] = 4
"2 3] Г11Г17
4 О] [5] = 4
"2 3]2"
4 0J [—1.
"2 3]2"
4 0J [—1.
Г
8
Г
8
2 3] ГО
4 0] [0
2 3] ГО
4 0] [0
0"
0
0"
0
Приведенный пример иллюстрирует важное положение: j-й столбец матрицы ЕА зависит только от j-го столбца матрицы А, но не от других ее столбцов. Кроме того, этот столбец матрицы ЕА является линейной комбинацией всех столбцов матрицы Е с коэффициентами ai}—элементами /-го столбца матрицы А. Таким образом, правило перемножения двух матриц действительно является расширением введенного ранее правила перемножения матрицы и вектор-столбца с единственным отличием, что вместо одного столбца мы имеем дело последовательно с несколькими столбцами.
Проведенное рассмотрение очень полезно для понимания одного из наиболее важных свойств умножения матриц. Предположим, что заданы три матрицы А, В и С, возможно прямоугольные, и предположим, что размеры матриц позволяют последовательно их перемножить, т. е. число столбцов матриц А и В равно числу строк матриц В и С соответственно. Тогда отмеченное свойство формулируется следующим образом.
|| 1В. Умножение матриц ассоциативно: (АВ)С = А(ВС).
Бели С окажется вектором (иначе говоря, матрицей только с одним столбцом), то это свойство совпадает с (7), которое было
основой введенного нами правила умножения матриц. Если же С имеет несколько столбцов cv ..., сп, то мы должны последовательно применить это правило несколько раз. С одной стороны, первым столбцом матрицы (ЛВ) С является вектор-столбец (ЛВ) q, а, с другой стороны, первым столбцом матрицы ВС будет вектор- столбец Bct и, следовательно, первым столбцом матрицы Л (ВС) является вектор-столбец Л (Bq). Так как, согласно (7), (ЛS)q = = Л (Bq), то первые столбцы матриц (ЛВ) С и Л (ВС) совпадают, и нам остается провести подобное же рассмотрение для остальных столбцов. '
Упражнение 1.3.9. Проверить закон ассоциативности для матриц
А =
'1 0 0" 0 1 0
J 0 1.
,в =
- 1 0 О'
-2 1 0 .001.
, С=
" 2 1 Г
4 1 0 _—2 2 1.
Наша цель — установление связи между методом исключения Гаусса и умножением матриц, но для этого нам потребуется еще два свойства, одним из которых операция матричного умножения обладает, а другим нет.
1С. Операции над матрицами дистрибутивны:
Л (В + О = лв + лс,(B + C)D = BD + CD.
Конечно, размеры этих матриц должны быть соответствующим образом согласованы: В и С должны иметь одинаковые размеры, чтобы их сумма имела смысл, а матрицы Л и D — иметь нужные размеры для умножения слева и справа.
Свойство, которым умножение матриц не обладает, несколько более интересно:
1D. Умножение матриц не коммутативно, т. е., как правило, FE^EF.
Пример. Предположим, что умножение на которую вычитало второго:Г 1Пример. Предположим, что умножение на которую вычитало второго:Г 1Е =Е =—2О—2ОВ —введенная ранее матрица, удвоенное первое уравнение изО О"10,'0 1В —введенная ранее матрица, удвоенное первое уравнение изО О"10,'0 1
Пример. Предположим, что умножение на которую вычитало второго:
Г 1
Пример. Предположим, что умножение на которую вычитало второго:
Г 1
Е =
Е =
—2
О
—2
О
В —введенная ранее матрица, удвоенное первое уравнение из
О О"
10,'
0 1
В —введенная ранее матрица, удвоенное первое уравнение из
О О"
10,'
0 1
a F—матрица, с которой мы встречаемся на последнем шаге процесса исключения, когда второе уравнение, умноженное на —3, вычитается из третьего (утроенное второе уравнение складывается
с третьим),
pi О О"
Е=-0 1 О
Lo 3 1_
Сравним произведение
Очевидно, что результат умножения зависит от порядка сомножителей. В первом случае, когда мы применяем к системе сначала Е, а затем F, второе уравнение изменяется на удвоенное первое раньше, чем оно используется для изменения третьего уравнения. За счет этого на месте (3, 1) появился элемент—6. Такой порядок и имел место в процессе исключения. Если же, наоборот, сначала применяется матрица F, то элемент —6 не возникает — при таком порядке первое уравнение не оказывает какого-либо влияния на третье. Таким образом, FE-^EF.
ЕДИНИЧНАЯ МАТРИЦА
Существует одна очень важная матрица порядка и, которая коммутирует с любой матрицей такого же порядка. В действительности при умножении на нее другая матрица не меняется, так как ее действие аналогично умножению на единицу. Матрица, обладающая таким свойством, называется единичной; все ее диагональные элементы равны единице, а остальные элементы —нулю. Для случая п = 4 она имеет вид
"1О О О"1О О О0 0 0-
"1
О О О
"1
О О О
1 о о
0 10
0 0 1
Легко проверить, что I А = А1 = А для любой матрицы Л такого же порядка.
Упражнение 1.3.10. Показать, что среди всех матриц А вида А = с двумя матрицамиУпражнение 1.3.10. Показать, что среди всех матриц А вида А = с двумя матрицамиасас3"d_3"d_В =В ="1 01-0 oj"1 01-0 ojииС =С =о Г о оо Г о о
Упражнение 1.3.10. Показать, что среди всех матриц А вида А = с двумя матрицами
Упражнение 1.3.10. Показать, что среди всех матриц А вида А = с двумя матрицами
а
с
а
с
3"
d_
3"
d_
В =
В =
"1 01
-0 oj
"1 01
-0 oj
и
и
С =
С =
о Г о о
о Г о о
одновременно коммутируют лишь матрицы, которые кратны единичной, т. е. такие, что a = d и 6 = с = 0. Проверить, что такие матрицы коммутируют с лю-
бой матрицей порядка 2 и, таким образом, это единственные матрицы с таким свойством.
Упражнение 1.3.11. Привести примеры таких матриц порядка 2, чтобы
Л2 = — / и Л имела только вещественные элементы,
В2 = 0, хотя В ^ О,
CD — — DC, причем CD Ф О,
ЕЕ = 0, хотя ни одна из матриц Е, F не имеет нулевых элементов.
Упражнение 1.3.12. Справедливы ли следующие утверждения (если утверждение не верно, то привести контрпример)?
Если первый и третий столбцы матрицы В одинаковы, то первый и третий столбцы матрицы АВ также одинаковы.
Если первая и третья строки матрицы В одинаковы, то первая и третья строки матрицы АВ также одинаковы.
Если первая и третья строки матрицы А одинаковы, то первая и третья строки матрицы АВ также одинаковы;
(ЛВ)2 = Л2В2.
Упражнение 1.3.13. Первая строка произведения АВ является линейной комбинацией всех строк матрицы В. Каковы коэффициенты в этой комбинации и какова первая строка матрицы АВ, если
А = Г2 1 41, О -1 1А = Г2 1 41, О -1 1В =В ='1О'1О
А = Г2 1 41, О -1 1
А = Г2 1 41, О -1 1
В =
В =
'1
О
'1
О
ЭКВИВАЛЕНТНОСТЬ МЕТОДА ИСКЛЮЧЕНИЯ ГАУССА
И РАЗЛОЖЕНИЯ НА ТРЕУГОЛЬНЫЕ МАТРИЦЫ
Вернемся опять к методу исключения и посмотрим, как соответствующие операции выражаются через матрицы. Нашей отправной точкой была система Ах = Ь:
Ах =Ах =4—24—21 11 О2 11 11 О2 1иWиW' Г— 27' Г— 27
Ах =
Ах =
4
—2
4
—2
1 1
1 О
2 1
1 1
1 О
2 1
и
W
и
W
' Г
— 2
7
' Г
— 2
7
Затем было три шага исключения:
вычитание удвоенного первого уравнения из второго;
вычитание первого уравнения, умноженного на —1, из третьего;
вычитание второго уравнения, умноженного на —3, из третьего.
В результате этих исключений получалась эквивалентная, но более простая система с новой матрицей коэффициентов, которую мы обозначили через U;
Ux =Ux =О —1 —2О —1 —2уwуw—44—44
Ux =
Ux =
О —1 —2
О —1 —2
у
w
у
w
—4
4
—4
4
Полученная матрица коэффициентов является верхней треугольной—все ее элементы, лежащие ниже главной диагонали, равны нулю.
Правая часть, являющаяся также новым вектором с, получена из первоначального вектора b с помощью тех же самых шагов, которые использовались при преобразовании А в U. Просуммируем этапы процесса исключения Гаусса:
начинаем с матрицы А и вектора Ь;
реализуем шаги исключения (i), (ii), (iii);
заканчиваем матрицей U и вектором с.-
Самый последний шаг заключается в решении системы Ux = c с помощью обратной подстановки, но мы пока отложим этот вопрос
в сторону, сосредоточив наше внимание на связи между матрицами А и U.
Матрица Е, которая реализует шаг (i), вычитая удвоенную первую строку из второй, уже была введена нами в предыдущем разделе. Мы обозначим ее через Е^, указывая индексами, что она изменяет вторую строку с помощью кратного первой строки, а также подчеркивая, что результатом умножения на нее будет появление у матрицы коэффициентов нулевого элемента на месте (2, 1). Напомним, что поскольку первая строка умножалась на 2, то матрица, вычитающая из второй строки первую с этим коэффициентом, имеет вид
Г 1 0 04
р —L21р —L21—20—201 00 11 00 1Аналогично с помощью на матрицыАналогично с помощью на матрицышаги исключения (ii) матриц. Точнее говоря,шаги исключения (ii) матриц. Точнее говоря,на этихна этихмогут быть описаны шагах мы умножаеммогут быть описаны шагах мы умножаемЕ =^31 Е =^31 Ч01Ч010100100' о10' о1ииЕ ^32Е ^32Ч 0 0"0 1 о0 3 1Ч 0 0"0 1 о0 3 1
р —
L21
р —
L21
—2
0
—2
0
1 0
0 1
1 0
0 1
Аналогично с помощью на матрицы
Аналогично с помощью на матрицы
шаги исключения (ii) матриц. Точнее говоря,
шаги исключения (ii) матриц. Точнее говоря,
на этих
на этих
могут быть описаны шагах мы умножаем
могут быть описаны шагах мы умножаем
Е =
^31
Е =
^31
Ч
0
1
Ч
0
1
0
1
0
0
1
0
0' о
1
0' о
1
и
и
Е ^32
Е ^32
Ч 0 0"0 1 о0 3 1
Ч 0 0"0 1 о0 3 1
Эти матрицы называются элементарными матрицами, и легко видеть, как они определяются и действуют в общем случае. Пусть требуется вычесть /-е уравнение с множителем ltj из i-го уравнения. Тогда для построения элементарной матрицы мы берем единичную матрицу I и заменяем ее нулевой элемент в /-й строке и /-м столбце на величину—1ц. Заметим, что элементарные матрицы являются нижними треугольными с единицами на главной диагонали.
Преобразование матрицы Л в U с помощью трех матричных операций можно выразить соотношением
(Ю)(Ю)Ез^Е^Е^А — U.
(Ю)
(Ю)
Аналогично, поскольку с помощью тех же операций преобразуется свободный член,
Ез2Е31Е11Ь = с.(11)
Мы могли бы, если бы захотели
перемножить все эти матрицы Е,
чтобы получить одну матрицу,
преобразующую А и b в U и с: "10 0"
р F F - — ^32^31^21
—210.(12)
—5 3 1.
Заметим, что она опять оказывается нижней треугольной матрицей, как это уже было в упражнении 1.3.6. Закон ассоциативности оказывается здесь очень полезным: мы можем вычислить произведение всех матриц Е и умножить на него матрицу А, получив при этом тот же результат, как если бы умножали А последовательно на матрицы Е. Обратим внимание на элемент —5 в нижнем левом углу. Он не является одним из множителей в процессе исключения, но комбинирование шагов (1) и (iii) дает—6, а шаг (ii) добавляет 4-1.
Теперь мы пришли к важному вопросу: как можно вернуться назад от матрицы U к А? Как можно обратить шаги исключения?
Простой шаг, скажем шаг (1), обратить нетрудно. Вместо вычитания мы добавим удвоенную первую строку ко второй (не удвоенную вторую строку, к первой!). Тогда элементарная матрица Ег1 заменяется другой элементарной матрицей с величиной 4-2 на том же месте, которое перед этим занимала величина —2,
Г1 о оп
Е^ = 2 1 0
0 0 1
Произведение Eti и Е^, взятое в любом порядке, является единичной матрицей: одна операция сокращается с другой. В терминах матриц каждая из этих матриц является обратной к другой:
E^Elt = I, EtiE^ = L (13)
Аналогично втора
я и третья элементарные матрицы могут быть
обращены добавле
нием того, "10 0"
что вычиталось на шагах (ii) и (iii): Г1 0 01
Езхх =
0 1 0
1 0 1.
, Е^ = 010.
[о —3 к
Таким образом, мы построили матрицы, которые обращают каждый отдельный из шагов исключения (i), (ii) и (iii). Наша задача—обратить весь процесс и посмотреть, какая матрица преобразует U в Л. Заметим, что поскольку шаг (iii) был последним в процессе преобразования А в U, то он должен быть обращен первым, когда мы идем в обратном направлении. Это общее правило: обращение осуществляется в обратном порядке по отношению к первоначальной последовательности операций. (Мы еще вернемся к этому вопросу в следующем параграфе, когда обращения будут обсуждаться более систематически.) Вторым обращается шаг (ii) и последним—шаг (iii). В результате, начиная с матрицы U, мы приходим назад к матрице Л:
А = E^E^E^U.(14)
Читатель может мысленно подставить U = Е,2Е81Ег1А в это уравнение и увидеть, что используемый порядок расположения матриц правильный, поскольку все произведения типа Е^Е^ равны единичной матрице.
Вычислим теперь матрицу L, которая преобразует U в А. Она является произведением трех матриц, которые обращают отдельные шаги, и уже участвует в уравнении (14):
L = Е^Е^Ею, так что A = LU.(15)
Построенная матрица L и матрица Е82Е31ЕИ, преобразующая А в U, обратны друг другу, т. е.
L = (E3,E31EnV- или L-l = E84E31E2V(16)
Мы получили ключевые формулы, но самую важную особенность матрицы L можно заметить, только произведя перемножение:
L —
"1 0 О'
2 1 0 _0 0 1.
'10 0'
0 1 0
1 0 1_
'000"
010
0 —3 1.
' 100'
210
1 —3 1.
• (17)
Очевидно, что L — нижняя треугольная матрица с единицами на главной диагонали. Ее особенность состоит в том, что элементы ниже главной диагонали—это в точности множители 2, — 1 и —3, используемые на трех шагах исключения. Обычно, когда перемножаются три матрицы, нельзя прямо выписать результат, используя отдельные элементы этих трех матриц. Но в настоящем случае матрицы расположены в таком идеальном порядке, что их произведение может быть выписано сразу. Если в вычислительной машине хранятся все /^-множители, на которые умножается j-я строка перед вычитанием из i-й строки, чтобы получить нуль в позиции (i, /), то эти величины не только дают полную характеристику процесса исключения Гаусса, но и непосредственно
являются элементами матрицы L, преобразующей матрицу U обратно в Л. Напомним также, что эта же матрица преобразует вектор с обратно в Ь, т. е. Lc = b.
Мы напомним, что этого не происходит в произведении матриц Е33Е31Ег1, вычисленном в (12). При перемножении в этом порядке происходит сокращение некоторых членов, в результате чего в позиции (3, 1) возникает —5.
Упражнение 1.4.1. Умножить матрицу из (12) на L, чтобы проверить, что это действительно матрица L-1, обратная к L. Заметим, что только L, но не обратная к ней, может быть выписана по виду сомножителей.
Постараемся понять, почему для системы любого порядка перемножение сомножителей при вычислении матрицы L происходит без каких-либо сокращений участвующих величин. Посмотрим, каков будет порядок сомножителей в случае матрицы порядка 4:
L = Е^Е^Ей^Е^ЕйЧ.
Единичная матрица добавлена справа для удобства. Она не нарушает равенства и при этом позволяет рассмотреть все операции в применении к ее строкам. Первая операция Е^ добавляет третью строку [0 0 10] к четвертой строке с множителем /43, что соответствует помещению этого множителя в позицию (4,3) вместо нуля. Затем операции Ей1 и Ей1 добавляют вторую строку [0 1 0 0] с соответствующими множителями к четвертой и третьей строкам, что означает помещение величин /42 и /32 в позиции (4, 2) и (3, 2) без изменения /43. Наконец, первый столбец матрицы L заполняется с помощью трех операций Ей1, Ей1 и Ей1.
Ей1, • • ■, Ей1 являются теми самыми операциями (расположенными в том же порядке), которые преобразуют систему Ux — c с нижней треугольной матрицей к первоначальной системе Ах = Ь. Они прибавляют кратные строк, которые вычитались, когда строилась матрица U. Поскольку общее действие этих операций эквивалентно умножению на матрицу L, то мы легко можем дать матричную формулировку метода последовательного исключения Гаусса.
Если все ведущие элементы отличны от нуля, то матрица А может быть представлена в виде произведения LU нижней треугольной матрицы L и верхней треугольной матрицы U. Элементы главной диагонали матрицы L равны единице, а поддиагональными элементами являются множители 1^, с которыми j-я строка вычитается из i-й в процессе исключения. Матрица коэффициентов U получается по окончании процесса исключения (до начала процесса обратной подстановки)', ее диагональными элементами являются ведущие элементы.
Пример.Пример.1 21 2приводится кприводится к121 Г1 О'О —2] с £=[з 1121 Г1 О'О —2] с £=[з 1Упражнение 1.4.2. Применяя метод исключения, вычислить сомножители L и И для матрицУпражнение 1.4.2. Применяя метод исключения, вычислить сомножители L и И для матрицУпражнение 1.4.3. Построить разложение Ux=c с верхней треугольной матрицей U дляУпражнение 1.4.3. Построить разложение Ux=c с верхней треугольной матрицей U дляA=LU и выписать систему системыA=LU и выписать систему системы22Ах = ОАх = О663 3 "и"5 7 о9 8_ _ш_3 3 "и"5 7 о9 8_ _ш_" 2 '25" 2 '25
Пример.
Пример.
1 2
1 2
приводится к
приводится к
121 Г1 О'
О —2] с £=[з 1
121 Г1 О'
О —2] с £=[з 1
Упражнение 1.4.2. Применяя метод исключения, вычислить сомножители L и И для матриц
Упражнение 1.4.2. Применяя метод исключения, вычислить сомножители L и И для матриц
Упражнение 1.4.3. Построить разложение Ux=c с верхней треугольной матрицей U для
Упражнение 1.4.3. Построить разложение Ux=c с верхней треугольной матрицей U для
A=LU и выписать систему системы
A=LU и выписать систему системы
2
2
Ах = О
Ах = О
6
6
3 3 "и"
5 7 о
9 8_ _ш_
3 3 "и"
5 7 о
9 8_ _ш_
" 2 '
2
5
" 2 '
2
5
Первоначальная система уравнений Ах = Ь (или LUx = b) преобразовывалась с помощью исключений к системе Ux = c. С матричной точки зрения этот процесс эквивалентен умножению системы Ах = Ь на матрицу L-1, а значит, c = L~4). (Нужно отметить, что эту матрицу мы в явном виде не получали и в действительности при вычислениях никогда получать не должны. Исключение осуществлялось шаг за шагом, когда еще и речи не было о матрице А-1.)
На заключительном этапе система Ux — c с верхней треугольной матрицей (У решается с помощью обратной подстановки: из последнего уравнения находим хп = сп1ипп, затем из следующего от конца уравнения находим xn_t и т. д. В матричной формулировке решение можно записать любым из следующих способов:
x=U-1c, x = U~1L~1b, x=A~lb. (18)
Опять заметим, что матрица U-1 не образуется явно и не должна никогда образовываться. Ее вычисление было бы просто потерей времени, поскольку, даже если мы уже имеем эту матрицу, умножение на нее вектора с требует п2/2 действий, т. е. столько же, сколько требует обратная подстановка. Такое замечание применимо почти ко всем приложениям матрицы А-1; мы хотим получить решение х = А-1Ь рассматриваемой системы, но нам не нужны элементы матрицы А-1.
Это не значит, что если нам надо будет решить систему с новой правой частью (скажем, Ь'), то придется повторять весь процесс исключения. В задачах проектирования часто возникает необходимость решать системы с. одной и той же матрицей А и различными правыми частями. Естественно, очень важно при их решении избежать повторения исключений, которые каждый раз требуют н8/3 действий. Вместо этого вычислительная машина просто просматривает уже имеющуюся информацию о шагах
исключения, используя ее для преобразования новой правой части Ь', но не матрицы А, так как здесь в результате получится та же самая матрица U.
Суммируем изложенное. Пусть сомножители L и U один раз вычислены. Тогда решение х' системы с новой правой частью Ь' можно найти только за п2 действий: п2!^ действий в прямом направлении для вычисления вектора с* и /г2/2 действий при обратной подстановке для вычисления вектора х*.
Пример. Матрица А нашего первоначального уравнения имела следующее Л17-разложение (матрица U берется из (9), a L — из (17)):
А =
" 2 1 Г
4 1 0 —2 2 1.
=
■ 100'
210
— 1 —3 1.
'2 1 Г 0 — 1 —2 .0 0 —4
= LU
Предположим теперь, что матрица А та же самая, а новой является лишь правая часть Ь', например:
2и'A- v'+ty'= 8,
4и' + у* =П,(19)
—2«' + 2v'+ш'= 3.
Тогда, зная L и U, сначала решаем систему Lc* = b*:
- 1
0
0"
£1
" 8"
' 8"
2
1
0
Сг
=
И
, откуда с' =
—5
-1
—3
1_
А
_ 3_
4_
Решение с* точно совпадает с правой частью системы, которую мы получили бы из (19), проведя процесс исключения; но учитывая, что этот процесс уже однажды был проведен и матрица L известна, мы находим вектор с' много быстрее. Далее, проводя обратную подстановку в системе Ux’—c’, которая имеет вид
"21О — 1О О"21О — 1О О" 8"-5—4." 8"-5—4.1' и'"
"21
О — 1
О О
"21
О — 1
О О
" 8"
-5
—4.
" 8"
-5
—4.
—2 й
—4J |_ю'_
находим ее решение
'2 "
3
1
Таким образом, если LtZ-разложение уже известно, то задача сводится к решению двух систем с треугольными матрицами, которые решаются с помощью прямой и обратной подстановок.
Сделаем два дополнительных замечания относительно сомножителей L и U.
В одном отношении LlV-разложение «несимметрично»: на главной диагонали матрицы U расположены ведущие элементы, в то время как в L на этих местах стоят единицы. Эту «несимметричность» легко устранить, выделяя из матрицы U диагональную матрицу D с ведущими элементами dv ..., dn по диагонали:
-dt-
1 M12/^i ^1з/^1•
1^2з/^2*
и =
•
1J
Теперь треугольное разложение матрицы А можно записать в виде A = LDU. Здесь L — нижняя треугольная матрица с единицами на главной диагонали, U— верхняя треугольная матрица с единицами на главной диагонали и D—диагональная матрица с ведущими элементами d( на диагонали. (Использование той же самой буквы U для новой верхней треугольной матрицы общепринято, хотя иногда и вносит путаницу.) Теперь в разложении A = LDU матрицы L и U в некотором смысле симметричны. Разложение для матрицы А из нашего примера с той же самой матрицей L и только что определенной матрицей U имеет вид
£21О£21О222211= LDU.= LDU.
£2
1
О
£2
1
О
2
2
2
2
1
1
= LDU.
= LDU.
В результате нашего описания каждого шага процесса исключения могло сложиться впечатление, что в другом порядке осуществлять вычисления невозможно. Это не так. Некоторая свобода действий существует и имеется «алгоритм Кроута», который осуществляет вычисления в несколько другом порядке. Конечно, это не абсолютная свобода, так как операции, проводимые со строками, легко могут уничтожить на некотором шаге нули, которые были получены на одном из предыдущих шагов. И, кроме того, нет никакой свободы в выборе окончательных матриц L, D и U. Вот наше основное положение:
1F. Если A=L1D1U1 и A — L2D2U2, где матрицы L нижние треугольные с единицами на главной диагонали, матрицы U верхние треугольные с единицами на главной диагонали и D—диагональные матрицы с ненулевыми диагональными элементами, то Li = L2, Dt = D2 и U1=U2. Таким образом, LDU-разложение однозначно определяется матрицей А.
Доказательство. Пусть LIDIl/I = L2D2l/2. Мы воспользуемся тем, что матрица L^’ обладает теми же свойствами (нижняя треугольная, единицы на главной диагонали), что и матрица Ц, более того, обе они являются произведениями элементарных матриц. Аналогичным образом, существует верхняя треугольная матрица U^1 с единицами на главной диагонали, для которой и2и2г = 1. Ясно, что любая диагональная матрица Dt с ненулевыми диагональными элементами имеет обратную, которая также диагональна и
"dt v\jdt "
d2 \fd2
_^ПJ. L
Теперь, умножая исходное равенство слева на матрицы Lr1 и Dr1 и справа на матрицу Щ1, получаем
U.Ur^D^L^L.D,.
Левая часть этого равенства — произведение двух верхних треугольных матриц с единицами на главной диагонали и является матрицей такого же типа. С другой стороны, правая часть — нижняя треугольная матрица. Отсюда вытекает, что обе части последнего равенства будут единичными матрицами, поскольку это единственная матрица, которая одновременно является нижней треугольной и верхней треугольной и имеет единицы на главной диагонали. Таким образом, UtU2v=I, и умножая это равенство справа на матрицу U2, получаем Uy = U2.
Аналогично показывается, что DT = D2 и L1 = L2.
Упражнение 1.4.4. Предполагая, что все ведущие элементы отличны от нуля, построить LD(/-разложение матрицы А = К порядка 2 общего вида.
Упражнение 1.4.5. Вычислить сомножители /.//(/-разложения матрицы
Каков промежуточный вектор с процесса исключения и решение системы Ах = Ь для
6*
?
Упражнение 1.4.6, Пусть заданы две системы уравнений с одной и той же матрицей Л порядка п=150. Почему решение второй системы (после того как решена первая) займет в 50 раз меньше времени, чем решение первой?
Упражнение 1.4.7. Решить систему Ах = Ь, зная
" 10 0"
'1
—10'
■ 2"
L =
-11 0
и =
0
1 -1
-3
.0—1 1.
.0
о 1.
Провести процесс исключения —
это все
равно, что
решить
систему Lc = b,
а обратная подстановка осуществляется для системы Ux = c.
§ 1.5. ПЕРЕСТАНОВКИ СТРОК, ОБРАЩЕНИЯИ ОШИБКИ ОКРУГЛЕНИЯ
Теперь мы вплотную подошли к проблеме, которой до сих пор избегали,— возможности появления нулевого ведущего элемента. Эта проблема может возникнуть уже в самом начале процесса исключения, если верхний левый элемент ап оказывается нулем и, следовательно, бесполезен в качестве ведущего элемента. Возьмем простейший пример
(20)(20)0 2 ’ ' и bv
(20)
(20)
4 [ v ] = [б2
Здесь трудность очевидна — никакое кратное первой строки не может быть использовано для аннулирования числа 3 в позиции (2, 1).
Выход из положения столь же ясно виден: переставить эти два уравнения, поскольку тогда число 3 перемещается в левую верхнюю позицию и становится ведущим элементом. В этом простейшем случае матрица сразу становится верхней треугольной, т. е. одновременно является матрицей U и, следовательно, нижняя треугольная матрица L является единичной матрицей. Система
Зи -j— 4уй2, ■2у = bt
может быть непосредственно решена с помощью обратной подстановки.
Переупорядочение строк можно описать в терминах матриц, если мы найдем матрицу Р, осуществляющую перестановку двух
строк. Такой матрицей перестановки является матрица
0 10 2103 40 10 2103 4умножение на нее матрицы А переставляет строки последней:
0 10 2
103 4
0 10 2
103 4
3 41.0 2. -
Конечно, такую же операцию Р осуществляет с вектором Ь, переставляя его компоненты Ьг и Ь2.
Рассмотрим более общий случай. Предположим, что после проведения нескольких шагов исключения возник нулевой ведущий элемент. (Позднее, на стр. 205, мы сможем дать точную формулу для ведущих элементов. Однако метод исключения является наилучшим способом нахождения этой формулы и выяснения, действительно ли ведущий элемент равен нулю.) Мы, например, можем предположить, что первые к—1 ведущих элементов ненулевые и мы уже получили нули ниже этих ведущих элементов. Что происходит, если Л-й ведущий элемент равен нулю?
Ситуация с нулевым ведущим элементом допускает две возможности; трудность может оказаться легко устранимой или серьезной. Либо одно из последующих уравнений можно переставить с k-м так, чтобы появился ненулевой ведущий элемент, либо ни одно из последующих уравнений не в состоянии помочь. Иначе говоря, мы просматриваем элементы ^-го столбца, расположенные ниже нулевого ведущего элемента, и если некоторый из них, скажем элемент /-й строки, ненулевой, то после перестановки /-й и к-й строк процесс исключения может быть продолжен. Если же все элементы к-го столбца, начиная с ведущего элемента и ниже, равны нулю, то матрица является вырожденной (это утверждение относится и к первоначальной матрице А, с которой начинался процесс исключений). Исключение точно указывает эту вырожденность: если посмотреть на оставшуюся часть системы, то легко увидеть, что слева осталось слишком мало неизвестных по сравнению с числом оставшихся уравнений. Мы должны найти неизвестные с номерами от к до п из уравнений с к-го по п-е, но поскольку все элементы й-го столбца оказываются нулями, найти к-е неизвестное невозможно. Эта ситуация будет обсуждаться в следующей главе: система либо имеет бесконечно много решений, либо (что более вероятно) не имеет решений совсем.
Заметим, что если все ведущие элементы, кроме последнего, ненулевые, то мы, конечно, имеем дело с вырожденной матрицей, поскольку ниже n-го ведущего элемента смотреть уже не на что.
Примером успешного выбора ведущего элемента служит по-
следовательность
(невырожденный случай)
Ч
3 24 Г1 3 2П Г1 3 2"
2
69—*005—>024
_2
8 8J [0 2 4J [О 0 5_
Примером невозможности выбора ненулевого ведущего элемента является последовательность (вырожденный случай):
3 2"О 5О 2_3 2"О 5О 2_"1 3 2*1 Г1
3 2"
О 5
О 2_
3 2"
О 5
О 2_
2 6 9 —> О.3 9 8J [О
Упражнение 1.5.1. Решить, производя, когда это необходимо, выбор ведущего элемента, систему
и + 4у + 2ш = —2,2и—8у+Зш= 32,у-p щ= 1.
Упражнение 1.5.2. Провести исключение для вырожденной системыи+ у — bi,3«+3y = b2
и определить, для каких векторов b решение существует.
В настоящем параграфе мы остановимся только на случае невырожденной матрицы, т. е. когда ненулевой ведущий элемент может быть получен путем перестановки строк. (Конечно, позже может опять возникнуть нулевой ведущий элемент, что потребует других перестановок строк, и такая ситуация может возникать несколько раз, хотя это и маловероятно. Заметим также, что вычислительной машине нет необходимости тратить время на перестановку строк, поскольку учесть каждую перестановку можно путем изменения порядковых номеров уравнений.) Наш вопрос: что случается с LU- (или LDU-) разложением, когда происходят перестановки строк?
Несомненно, что результатом процесса исключения, как и раньше, будет некоторая верхняя треугольная матрица U. Это цель процесса. Только теперь этот процесс включает не только операции с матрицами Ец, которые вычитают кратное одной строки из другой, но и операции с матрицами перестановки Рн. Умножение справа на матрицу Ры осуществляет перестановку k-и и /-й строк исходной матрицы. (Определить вид матрицы Рм можно с помощью изящного приема. Умножим на Рм справа единичную матрицу /. Тогда матрица PklI = Pkl —матрица, по-
лучающаяся из единичной перестановкой k-п и /-строк.) Например,
'1 о о.0'1 о о.0ООО'
'1 о о
.0
'1 о о
.0
24 —24 —О 0 1
24 —
24 —
О 1 о 1 о 0.
Очень легко вычислить обратную матрицу Р^, которая осуществляет обратную к перестановке Рм перестановку. Для этого нам нужно переставить те же самые строки и, следовательно, Р^Ры-
Теперь матрица, преобразующая матрицу U в А, может быть вычислена, как и прежде: она является произведением матриц Е^ и Р^, обращающих каждый отдельный шаг исключения. Однако в случае, когда возникают нулевые ведущие элементы и соответственно требуются перестановки строк, из-за участия матриц перестановки произведение уже не будет нижней треугольной матрицей L. Иначе говоря, первоначальную матрицу А нельзя представить в виде произведения нижней треугольной матрицы L и верхней треугольной матрицы I) с ненулевыми элементами на главных диагоналях. Такого разложения уже не получается.
Тем не менее есть простое соображение, которое позволяет нам почти полностью вернуть разложение A = LU. Предположим, что у нас есть перечень всех перестановок строк, которые необходимо осуществить в ходе процесса исключения, и мы производим их все до начала исключения. Иначе говоря, мы заменяем исходную матрицу А матрицей РА с переставленными строками, где Р — матрица перестановки, имеющая в каждой строке и каждом столбце только один ненулевой элемент, равный единице. Очевидно, что Р является произведением элементарных матриц перестановки Рн и объединяет все перестановки воедино.
Теперь упомянутое соображение формулируется следующим образом: процесс исключения можно осуществлять для матрицы РА, строки которой располагаются в нужном порядке заранее. При этом ведущие элементы оказываются теми же самыми, которые получались, когда перестановки проводились по мере необходимости в ходе самого процесса исключения. Другими словами, матрица РА имеет обычное LИ-(или LDU-)разложение с ненулевыми ведущими элементами. Имеется лишь одно небольшое изменение, связанное с предварительным проведением всех перестановок. Предположим, что кратное первой строки вычитается из второй, а затем для получения ненулевого ведущего элемента вторая и третья строки переставляются. Тогда для случая матрицы РА, поскольку вторая и третья строки переставлены у нее заранее, кратное первой строки уже будет вычитаться из третьей строки.
Пример. Основная последовательность процесса исключения имеет вид
л =л =4'2 3'2 4 2О 1 14'2 3'2 4 2О 1 1Г1 2Г1 231310 0—40 110 0—40 11Ч 2О 1Ч 2О 13'13'1= и.= и.0 0—40 0—4
л =
л =
4'2 3'
2 4 2
О 1 1
4'2 3'
2 4 2
О 1 1
Г1 2
Г1 2
31
31
0 0—4
0 11
0 0—4
0 11
Ч 2
О 1
Ч 2
О 1
3'
1
3'
1
= и.
= и.
0 0—4
0 0—4
Если же перестановка строк проведена заранее с Р = РМ, то
РА =РА =Ч 2 3'0 1 12 4 2Ч 2 3'0 1 12 4 2Ч 0 0"0 1 о2 0 1Ч 0 0"0 1 о2 0 1Ч 20 1Ч 20 13'1 = LU.3'1 = LU.0 0—40 0—4
РА =
РА =
Ч 2 3'
0 1 1
2 4 2
Ч 2 3'
0 1 1
2 4 2
Ч 0 0"0 1 о2 0 1
Ч 0 0"0 1 о2 0 1
Ч 2
0 1
Ч 2
0 1
3'
1 = LU.
3'
1 = LU.
0 0—4
0 0—4
Здесь удвоенная первая строка матрицы РА вычитается из ее третьей строки (операция Ег1 должна быть заменена операцией Е31), и именно этот шаг обращается матрицей L.
В полном виде теорию исключения Гаусса, которая была главной целью настоящей главы, можно сформулировать следующим образом.
1G. Если матрица А невырожденная, то существует такая матрица перестановки' Р, что матрица РА допускает разложение PA = LU (или PA=LDU, что предпочтительнее) с ненулевыми ведущими элементами. В этом случае существует единственное решение системы Ах = Ь, которое можно найти с помощью процесса исключения при использовании перестановок строк. В случае вырожденной матрицы никакое переупорядочение строк не позволяет избежать нулевых ведущих элементов.
Упражнение 1.5.3. Найти ^[/-разложение матрицы РА для
'1А = 1'1А = 11 11 22 51 11 22 5Упражнение 1.5.4. При какой матрице перестановки Р будет возможно разложение PA = LDU, если
'1
А = 1
'1
А = 1
1 1
1 2
2 5
1 1
1 2
2 5
Упражнение 1.5.5. Определить, будут следующие две системы вырожденными или невырожденными и имеют ли они решение:
у— w = 2,у— w = 2,у—ш = 0,у—ш = 0,
у— w = 2,
у— w = 2,
у—ш = 0,
у—ш = 0,
и — Уи — У= 2,—ш = 2;= 2,—ш = 2;и—Уи—У1=0,— су=0.1=0,— су=0.
и — У
и — У
= 2,
—ш = 2;
= 2,
—ш = 2;
и—У
и—У
1=0,
— су=0.
1=0,
— су=0.
ОБРАЩЕНИЯ
В случае вырожденной матрицы излагаемая теория будет оставаться неполной вплоть до § 2.4. Более того, даже невырожденный случай, который мы связываем с наличием ненулевых ведущих элементов, очень нуждается в обсуждении с позиций, не зависящих от метода исключения. Но мы уже ввели обозначения Ет?-, U-1 и Л-1, и нам кажется, что пора установить некоторые общие правила обращения.
Первое из них утверждает, что если для матрицы А существует «левая обратная» матрица В и «правая обратная» матрица С, то они должны совпадать.
|| 1Н. Если ВА = 1 и АС = 1, то В —С.
Доказательство. Так как умножение матриц ассоциативно, то из равенства В(ЛС) = (ВЛ)С получаем В1 = 1С и, следовательно, В = С.
Для прямоугольных матриц одно обращение (например, левостороннее) может существовать без другого, но для квадратных матриц это невозможно. Невырожденными матрицами А порядка п являются только такие, которые имеют двусторонние обратные:
лл-1 = л-1л =/.
Это свойство было проверено для элементарных матриц Е^ и обратных к ним, после чего матрица L-1 была построена с помощью правила обращения произведений:
Если матрицы А и В обратимы, то матрица АВ также обратима и обратная к ней находится как произведение матриц Л-1 и В-1, взятых в обратном порядке;
(АВу-^В^А-1. (21)
Доказательство. Воспользовавшись опять законом ассоциативности, получим
(ЛВ)(В-1Л-1) = АВВ^А-1 = AIA-i = ЛЛ-1 = /, (В-1Л-1)(ЛВ) = В-1Л-1ЛВ = В-1/В = В-1В = /.
Распространяя установленное правило на произведение трех матриц, легко видеть, что обратная к матрице А = LDU матрица будет тройным произведением Л-1 — U~1D~1L~1. Как мы уже отмечали ранее, в действительности вычисление такой обратной матрицы требуется очень редко: если надо найти только вектор А-1Ь, то вычислять отдельно Л-1—это лишняя трата времени. Но все же интересно знать, сколько для этого требуется времени и как это можно сделать. Хороший способ—это расписать по
столбцам равенство АА-1 = 1: если обозначить /-й столбец матрицы А-1 через Хр а j-й столбец единичной матрицы обозначить через вр то получим Axj = ep Это приводит к п системам уравнений с п различными правыми частями ег, . .., еп. Поскольку здесь матрица коэффициентов А одна и та же для всех систем, то процесс исключения для матрицы А проводится только один раз. Практически же самой простой схемой является метод Гаусса — Жордана, когда исключение проводится для всех п систем одновременно.
ПримерД ех ег с3ПримерД ех ег с31 1 1О О1 О '21О — 1О О1 1 1О О1 О '21О — 1О ОО О"1 0 -О 11 1—2 —2—4 —5О О"1 0 -О 11 1—2 —2—4 —5"21О —1О 3О О’1 0 .3 1"21О —1О 3О О’1 0 .3 11 1—2 -22 11 1—2 -22 1О О"1 ОО 1О О"1 ОО 1
Пример
Д ех ег с3
Пример
Д ех ег с3
1 1 1
О О
1 О '21
О — 1
О О
1 1 1
О О
1 О '21
О — 1
О О
О О"
1 0 -
О 1
1 1
—2 —2
—4 —5
О О"
1 0 -
О 1
1 1
—2 —2
—4 —5
"21
О —1
О 3
О О’
1 0 .
3 1
"21
О —1
О 3
О О’
1 0 .
3 1
1 1
—2 -2
2 1
1 1
—2 -2
2 1
О О"
1 О
О 1
О О"
1 О
О 1
Это завершает процесс исключения. В последней матрице первые три столбца задают известную нам матрицу U. Другие три столбца
являются тремя правыми частями систем после их подготовки к процедуре обратной подстановки и в то же время являются столбцами матрицы L-1, о которой мы много раз говорили. Иначе говоря, эти столбцы являются результатом применения элементарных операций ЕИ, Езг, Езг (или, что эквивалентно, матрицы Е-1 = Е33Е31Е21) к единичной матрице. Полученные после реализации для всех трех систем обратной подстановки решения хг, хг, х3 и будут являться искомыми столбцами матрицы А-1. Метод Гаусса — Жордана находит эти столбцы одновременно, как бы продолжая процесс исключения с той единственной разницей, что теперь
нужно вычитать кратные строки из строк, расположенных выше. Начинаем мы с получения нуля выше ведущего элемента во втором столбце:
[Д /]—>Г2111 0 О’
0—1—2—210 00 —4 -5 3 1_
^Г2 0 0 1 4 —т"
444
0—10—
и222
L00 —4—531_
—> Г2 0—1 —1 —1 О'1 — 0 _1 —2 —210
О 0—4—53 1_
1 о 0— =
1и888
0 10— ———
и222
0 014
|_444j
= U Д-1]-
На последнем шаге мы делим на ведущие элементы. Теперь матрица коэффициентов в левой половине единичная, а три решае-
мые системы приведены к виду
1 и
Г
2“
Г
1 1
1х^ =
8
1
2
2
4 _
/х2 —
—
8
2
2
2
4 _
,/х3 —
—
8
2
2
2
4
(22)
Это и есть столбцы матрицы Л-1. Таким образом, метод Гаусса — Жордана осуществляет абсолютное исключение для матрицы Л, давая нули как выше ведущих элементов, так и ниже них и одновременно применяя те же самые операции к столбцам единичной матрицы. При этом матрица Л в левой половине нашей матрицы размера 3x6 переходит в матрицу /, в то время как матрица / в ее правой половине преобразуется в матрицу Л-1.
Замечание. Любопытно подсчитать число действий, необходимых для нахождения матрицы Л-1. Обычный подсчет для каждой новой правой части дает величину п2—половина для действий в прямом направлении и половина для обратной подстановки. Для п различных правых частей это дает величину н3, и, добавляя к ней п3/3 действий, требуемых для преобразования самой матрицы А, получаем общее количество действий 4п3/3.
В действительности эта оценка несколько завышена, поскольку правые части е$ имеют специальный вид. В первой половине наших вычислений (исключении) в векторе е; нужно изменять только те компоненты, которые расположены ниже единицы, стоящей на /-м месте. Так, для изменения ег требуется н2/2 действий, а для изменения е} достаточно только (п—/)2/2 действий. (В процессе исключения с вектором ej ничего не происходит до момента, пока мы не подойдем к /-му ведущему элементу. Но тогда оставшаяся часть содержит только n — j компонент.) Иначе говоря, процесс преобразования матрицы / в L~l оперирует только с нижними треугольными матрицами, сохраняя нули над диагональю. Поэтому первая половина вычислений требует
действий. К этой величине нужно прибавить п®(3 действий, требуемых для проведения один раз процесса исключения для матрицы А, и п^/2) действий, которые требуются на последнем этапе для нахождения Лу обратными подстановками независимо от того, осуществляются ли они отдельно для каждой правой части или одновременно, как в методе Гаусса—Жордана. Таким обра-
зом, общее число действий, требуемых для вычисления матрицы Л-1, равно
п3 . п3"б + Тп3 . п3"б + Т= п$.= п$.
п3 . п3"б + Т
п3 . п3"б + Т
= п$.
= п$.
Эта величина необыкновенно мала. Действительно, поскольку перемножение матриц уже требует и3 действий, то для вычисления матрицы Л2 требуется столько же действий, сколько для нахождения матрицы Л-1. Этот факт кажется почти невероятным. (Вычисление Л3 требует в два раза больше действий, чем Л-1.) Тем не менее, если в вычислении явного вида матрицы Л-1 нет необходимости, делать этого не надо.
УпражнениеУпражнениеУпражнениеУпражнениеНайти обратную к матрице АВ-гС.
Упражнение
Упражнение
Упражнение
Упражнение
Найти обратные к матрицам
„ ГО 11Гсоз 0 — sin 0"
А = . и В = 10sin 0 cos 0
Упражнение 1.5.8. Показать, что матрицаУпражнение 1.5.8. Показать, что матрица1 31 3Г3Г3не имеет обратной, пы-не имеет обратной, пы-
Упражнение 1.5.8. Показать, что матрица
Упражнение 1.5.8. Показать, что матрица
1 3
1 3
Г
3
Г
3
не имеет обратной, пы-
не имеет обратной, пы-
таясь решить систему
'1 11 Га Ь'3 3 cd'1 11 Га Ь'3 3 cdI»I»О'1О'1
'1 11 Га Ь'
3 3 cd
'1 11 Га Ь'
3 3 cd
I»
I»
О'
1
О'
1
Упражнение 1.5.9. Описать, как умножение на матрицу Е, и выписатьУпражнение 1.5.9. Описать, как умножение на матрицу Е, и выписатьдействует на произвольную матрицу А матрицу Е-1, еслидействует на произвольную матрицу А матрицу Е-1, если
Упражнение 1.5.9. Описать, как умножение на матрицу Е, и выписать
Упражнение 1.5.9. Описать, как умножение на матрицу Е, и выписать
действует на произвольную матрицу А матрицу Е-1, если
действует на произвольную матрицу А матрицу Е-1, если
Е =Е ="100"1000 8'
Е =
Е =
"1
0
0
"1
0
0
о
0 1
Гаусса—Жордана одновременного матрицамГаусса—Жордана одновременного матрицам'2—10'— 12 — 10—12'2—10'— 12 — 10—12Упражнение 1.5.10. Используя метод решения систем Axj=ej, найти обратные к
Гаусса—Жордана одновременного матрицам
Гаусса—Жордана одновременного матрицам
'2—10'
— 12 — 1
0—12
'2—10'
— 12 — 1
0—12
А = "а Ь" и А =с d
ОШИБКИ ОКРУГЛЕНИЯ .
В.теоретической части рассмотрение невырожденного случая завершено. Перестановки строк могут оказаться необходимыми, чтобы избежать нулевых ведущих элементов, и они позволят нам добиться этого, если матрица невырожденная. Тогда на заключительном этапе решение системы Ах = Ь можно найти с помощью обратной подстановки. На практике, однако, случается, что столь же необходимыми оказываются другие перестановки строк, иначе вычисленное решение может оказаться бессмысленным.
Напомним, что для системы средних размеров, скажем порядка ста, для реализации исключения требуется около миллиона действий и при выполнении каждого действия мы должны ожидать ошибку округления. При обычных вычислениях с плавающей точкой (например, в десятичной системе счисления) каждое число п описывается мантиссой т и показателем степени с, т. е. п = т10с с ^^|т|< 1. Число цифр в т равно длине машинного слова. Без какого-либо анализа ошибок для вычислений с плавающей точкой мы можем указать на очевидный факт: если в арифметике с плавающей точкой складываются два числа и их экспоненты с различаются, например, на два, то последние две цифры в меньшем числе будут потеряны:
0.345+ 0.00123-*0.346.
Основной вопрос здесь следующий: какой вклад вносят все эти отдельные, ошибки округления в конечное решение?
Это нелегкая задача. Ее решение было начато Джоном фон Нейманом. Он был одним из ведущих математиков в то время, когда благодаря вычислительным машинам стало возможным осуществлять миллионы операций. В действительности объединение усилий Гаусса и фон Неймана придало историческую известность простому алгоритму исключения, хотя даже фон Нейман дал лишь осень сложную оценку ошибок округления; правильный путь решения вопроса был найден Уилкинсоном, книги которого стали теперь классическими.
Два простых примера, взятых из книг Нобла и Форсайта—Молера, будут иллюстрировать три самых важных момента в оценке ошибок округления. Это примеры систем с матрицами
0.00010.00011111"1 1
0.0001
0.0001
1
1
1
1
1 1.0001
Первый момент:
| 1J. Одни матрицы чрезвычайно чувствительны к малым изме- I нениям, а другие нет. Матрица А плохо обусловлена (т е. ■ чувствительна к изменениям}, а матрица А' хорошо обусловлена.
Если мы очень незначительно изменим матрицу А' или вектор b в правой части, то решение системы А'х = Ь также изменится незначительно. С другой стороны, рассмотрим две системы с матрицей А и очень близкими правыми частями:
и +и +о = 2,о = 2,и+ "0 = 2,и+ "0 = 2,
и +
и +
о = 2,
о = 2,
и+ "0 = 2,
и+ "0 = 2,
и+ 1.0001о = 2.0001;«+ 1.0001о = 2.0002.
Решением первой системы является вектор с компонентами u = 1 и у=1, а решением второй—вектор с компонентами и = 0 и и = 2. Изменение пятой значащей цифры в компоненте вектора b привело к изменению первой значащей цифры в компонентах решения системы, и не существует численного метода, который мог бы устранить эту чувствительность к малым возмущениям. Плохая обусловленность может быть при вычислениях перенесена из одного места в другое, но не может быть устранена: истинное решение очень чувствительно, и вычисленное решение не может обладать меньшей чувствительностью.
Второй момент:
II 1К. Даже хорошо обусловленная матрица может быть испорчена плохим алгоритмом.
К сожалению, нужно сказать, что даже для матрицы А' прямой ход исключения Гаусса относится к плохим алгоритмам. Предположим, что величина 0.0001 является первым ведущим элементом, и первую строку нужно умножить на 10000 и вычесть ее из второй строки. Нижний правый элемент становится—9999, но за счет округления до трех значащих цифр он берется равным —10000. Итак, округление приводит к исчезновению единицы, которая была здесь первоначально.
Рассмотрим конкретный пример
0.0001н + и=1,
М + У = 2.
После исключения второе уравнение имеет вид
—9999у= —9998,
откуда v = 0.99990. В действительности, округления приводят к уравнению —10000у =—10000, откуда у=1. До сих пор изменение второго уравнения не привело к плохому решению: три первые значащие цифры приближенного решения у совпадают с точными. Однако при обратной подстановке первое уравнение с истинным значением и имеет вид
0.0001м 4-0.9999=1,’
откуда получаем м=1. С другой стороны, если вместо и подставить вычисленное с тремя точными знаками решение и=1, то получим уравнение
0.0001м 4-1 = 1
и, следовательно, вычисляемое значение и = 0. Вычисленное зна^ чение и абсолютно ошибочно. Отсюда вытекает, что, несмотря н$
хорошую обусловленность матрицы Л', процесс исключения очень неустойчив. Действительно, множители L, D и U (как точные, так и приближенные) имеют совершенно другие масштабы, чем исходная матрица:
,1ГО.0001О 1Г1 10000"
Л = [10000 1] О —9999] [о 1•
Таким образом, маленький ведущий элемент 0.0001 привел к неустойчивости.
Качественно, матрица А является почти вырожденной, а А* нет. Если мы заменим последний элемент в А единицей или сделаем еще где-нибудь соответствующее маленькое изменение элементов этой матрицы, то она станет вырожденной. Не так обстоит дело с матрицей А'. Близость к вырожденности—это почти то же, что и плохая обусловленность. Различие между ними мы попытаемся разъяснить во втором параграфе гл. 7. Но причины, почему хорошая обусловленность А' была испорчена алгоритмом исключения, и средство против этого видны уже теперь. Это третий момент, который мы хотели отметить.
1L. Тан же как нулевой ведущий элемент требует теоретического изменения алгоритма исключения, очень маленький ведущий элемент требует его практического изменения. А именно, если не известно заранее, что обычный алгоритм исключения работает хорошо, вычислительная машина должна сравнить каждый ведущий элемент со всеми другими возможными ведущими элементами этого столбца. Затем она должна переставить строки матрицы так, чтобы наибольший из них по модулю стал новым ведущим элементом. Такой алгоритм называется частичным выбором ведущего элемента.
В матрице А* один из возможных ведущих элементов 0.0001 надо сравнить с элементом ниже него, который равен единице, что сразу приводит к перестановке строк. В матричных обозначениях это, как и ранее, означает умножение на матрицу перестановки. Теперь разложение новой матрицы А"=РА' имеет вид
10.000110.000111 [Ч1 = 0.000111 [Ч1 = 0.0001о1о11 о0 0.99991 о0 0.9999"1 Г0 1"1 Г0 1
1
0.0001
1
0.0001
11 [Ч
1 = 0.0001
11 [Ч
1 = 0.0001
о
1
о
1
1 о
0 0.9999
1 о
0 0.9999
"1 Г
0 1
"1 Г
0 1
Ведущими элементами здесь являются величины одного масштаба: единица и 0.9999, в то время как раньше вместо них были величины 0.0001 и —9999.
Частичный выбор ведущего элемента отличен от гораздо более надежной стратегии полного выбора ведущего элемента, когда для нахождения возможно большего ведущего элемента просматривается как 6-й столбец, так и все последующие столбцы. При
полном выборе ведущего элемента для его перемещения в нужную позицию необходимо осуществлять перестановку не только строк, но и столбцов. (Иначе говоря, дополнительно нужна перенумерация неизвестных, или, что эквивалентно, умножение анализируемой матрицы справа на матрицу перестановок.) За такую надежность приходится дорого платить, поскольку просмотр и сравнение элементов всех оставшихся столбцов требует чрезвычайно больших затрат времени. В то же время частичного выбора ведущего элемента, как правило, бывает достаточно.
Сейчас мы окончательно подошли к основному алгоритму численной линейной алгебры—исключению с частичным выбором ведущего элемента. Конечно, для дальнейшего усовершенствования этого алгоритма еще остается целый ряд возможностей, таких, как масштабирование строк и столбцов матрицы, если это оказывается необходимым. Но по существу читатель уже знает, как вычислительная машина поступает с системой линейных уравнений. В отличие от «теоретического» описания задачи — найти матрицу А-1 и умножить на нее вектор b—наше изложение потребовало от читателя времени (и терпения). Было бы хорошо, если бы существовал более легкий путь, как в действительности находить вектор х, но думаю, что его не существует.
Упражнение 1.5.11 (рекомендуемое). Вычислить обратную к матрице Гильберта
Г 2 1" ■123
л- 1 1 1
34
1 1_ 345 _
двумя способами, используя обычный метод исключения Гаусса—Жордана: (i) с помощью точных вычислений и (п) округляя каждое число до трех значащих цифр. Замечание: в данном случае выбор ведущего элемента не помогает, поскольку матрица А является плохо обусловленной и это никак нельзя исправить.
Упражнение 1.5.12. Сравнить ведущие элементы обычного исключения и исключения с частичным выбором ведущего элемента для матрицы
, ГО.00101
А =.
Li iooooJ
(Это пример ситуации, когда перед исключением необходимо масштабирование.)
Упражнение 1.5.13. Объяснить, почему при частичном выборе ведущего элемента все элементы I, у матрицы L удовлетворяют неравенству | /, у | < 1. Показать, что если элементы исходной матрицы А удовлетворяют неравенствам | а(-у | < 1, то после первого этапа исключения (получения нулей в первом столбце) все элементы будут ограничены по модулю величиной 2, а после /г-го этапа—величиной 2А. Можно ли построить пример такой матрицы А порядка три с элементами |а,у|<1, для которой |/,-у|<1, а последний ведущий элемент равен четырем?
§ 1.6. ЛЕНТОЧНЫЕ МАТРИЦЫ,СИММЕТРИЧЕСКИЕ МАТРИЦЫ И ИХ ПРИМЕНЕНИЯ
В настоящем параграфе мы преследуем две цели. Первая из них — показать на конкретной задаче, каким образом большие системы линейных уравнений возникают на практике. До сих пор в книге не было каких-либо упоминаний о приложениях, так как описание большой и вполне реальной задачи из строительной техники или экономики увело бы нас далеко от основного направления. Но здесь мы выберем другую естественную и важную прикладную задачу, рассмотрение которой не потребует большой подготовки.
Другая цель—проиллюстрировать (на примере той же самой задачи) специальные свойства, которыми часто обладают матрицы коэффициентов. Редко можно встретить матрицу, которая выглядела бы так, как будто она построена случайным образом. Почти всегда матрица имеет некоторые особенности структуры, заметные, как правило, с первого взгляда. Такими особенностями, например, являются симметрия или большое число нулевых элементов. В последнем случае, так как разреженная матрица содержит значительно меньше чем и2 единиц информации, то вычислительной работы также оказывается много меньше, чем для плотной матрицы. Мы, в частности, будем рассматривать специальные свойства ленточных матриц, все ненулевые элементы которых сосре- доточенр! около главной диагонали, и изучать, как эти свойства отражаются на процессе исключения.
Наш пример возникает при преобразовании непрерывной задачи в дискретную. Непрерывная задача имеет бесконечно много неизвестных и ее нельзя решить точно на вычислительной машине. Следовательно, ее нужно приближенно заменить некоторой дискретной задачей. При этом, как правило, оказывается, что чем больше неизвестных останется в задаче, тем выше будет ее точность и больше стоимость решения. В качестве весьма простой, но в то же время очень типичной непрерывной задачи, мы выберем дифференциальное уравнение
/V2, ,
= 0<х^1. (25)
Это линейное уравнение относительно неизвестной функции и со свободным членом /. Левая часть уравнения допускает неопределенность, поскольку к любому ее решению и можно добавить произвольную функцию вида C^Dx и результат снова будет решением этой задачи (вторая производная функции С -VDx тождественно равна нулю). Неопределенность, связанная с произвольностью констант С и D, устраняется заданием на каждом из концов
интервала «краевых условий»:
и(0) = 0, «(1) = 0. (26)
В результате мы приходим к так называемой двухточечной краевой задаче, которая описывает не кратковременное, а стационарное явление, например распределение температуры стержня с фиксированными нулевыми значениями на концах и распределенными источниками тепла интенсивности /(х).
Напомним, что наша цель—получить задачу, которая дискретна (конечномерна), или, другими словами, является задачей линейной алгебры. По этим соображениям мы не можем допустить более чем конечное количество информации о функции / и возьмем лишь ее значения в равномерно расположенных точках x = h, x = 2h, . . ., x = nh. Нашей задачей будет вычисление приближенных значений uv ..., ип точного решения и в перечисленных точках при условии, что на концах отрезка х = 0их=1 = (/г + 1)/г уже заданы точные краевые условия wo = O и ып+1 = 0.
Прежде всего возникает вопрос, как заменить производную d^u/dx2? Поскольку каждая производная является пределом разностных отношений, то ее можно аппроксимировать одним из этих отношений при фиксированном значении шага К (или Дх). Для первой производной имеется три возможности:
du^M(x4-A)— и^ du и (х)— и (х—h) dx h ’ dx ~ h ’
duu(x-\-h) — и (x—h)
dx ^ 2ft ' V2*’
Оказывается, что последнее отношение, в силу своей симметрии относительно х, является самым лучшим. Для второй же производной существует единственная возможная комбинация, которая использует значения только в точках х и х ±h; "
d-u ^ u(x+h) — 2u(x)-t-u(x--h) dx2 ~ h2 '
Эта аппроксимация также обладает тем преимуществом, что она симметрична относительно величины х. Напомним, что правая часть (28) стремится к точному значению d2ujdxi при h—>-0, но мы останавливаемся на некотором конкретном значении h.
Заменим в стандартных узлах х = jh сетки дифференциальное уравнение —d1u;dx2 = f (х) его дискретным аналогом (28) и умножим его на /г2:
— — (29)
В результате получим п уравнений такого вида, по одному для каждого из значений / = 1, ..., п. Первое и последнее из этих уравнений включают величины и6 и и„+1, которые не являются
неизвестными, так как их значения определены краевыми условиями. Они переносятся в правые части уравнений и добавляются к свободным членам (в тех случаях, когда не известно заранее, что они равны нулю). Равенство (29) легко интерпретировать как условие стационарного режима, при котором притоки (и?— и/+1) справа и («у—«у-О слева уравновешиваются стоком htf(jh) в центре.
Структура п уравнений (29) становится виднее, если выписать
матричное
уравнение
Аи = Ь для
конкретного значения
/i=l/6
"2—1
—12 -
-1
u2f (2/i)
— 1
2 —1
и3 = № f (3/i) .
(30)
-12 —1
«4t W
-12j
Лу t_f (5h) _
С этого момента мы будем иметь дело с уравнением (30), и для нас уже несущественно, откуда оно возникло. Какое значение имеет тот факт, что мы построили класс матриц коэффициентов, далеко не произвольного вида, порядок п которых может быть очень большим? Матрица А обладает рядом специальных свойств, одно из которых представляет для нас наибольший интерес: она является трехдиагональной. Все ее ненулевые элементы лежат на главной диагонали и на двух прилегающих к ней диагоналях. Иначе говоря, элементы матрицы равны нулю, если разность между номерами их строк и столбцов по модулю больше единицы, т. е. ai;- = 0 для всех I, j, таких,что|i— j| > 1. Наличие этих нулей вносит огромное упрощение в процесс исключения Гаусса.
Матрица А обладает еще двумя свойствами, которые мы не решаемся обсуждать здесь, но не потому, что они не важны, а именно из-за того, что они слишком важны. Тем не менее .мы можем сказать, что это за свойства и какое влияние они оказывают на алгоритм исключения.
Матрица А симметрическая. Это означает, что каждый элемент ai; с одной стороны от главной диагонали равен своему «зеркальному отражению» a;i с другой стороны от главной диагонали, т. е. а^—а^ для всех значений i, j. Другими словами, первый столбец матрицы А совпадает с ее первой строкой, второй столбец —со второй строкой и т. д. Одно следствие этого свойства очевидно: в вычислительной машине достаточно хранить только нижнюю треугольную часть А, поскольку ее элементы, стоящие над главной диагональю, можно сразу восстановить по соответствующим элементам, расположенным ниже главной диагонали.
Самым важным, однако, является то обстоятельство, что процесс исключения сохраняет эту симметрию (см. упражнения). Следовательно, при исключении отсутствует необходимость в вычислении изменений, происходящих над главной диагональю. Иначе говоря, если мы сохраняем только результаты, получающиеся ниже главной диагонали и, конечно, ведущие элементы, то верхняя треугольная часть восстанавливается по ним автоматически. Таким образом, симметричность матрицы позволяет фактически вдвое уменьшить как требуемую память, так и время, затрачиваемое на вычисления.
Мы обратим внимание на другой результат подобного сорта, для чего впервые введем индекс т для обозначения операции транспонирования матрицы. Пусть А—некоторая матрица. Тогда замена всех строк матрицы А на столбцы с теми же номерами дает транспонированную к ней матрицу Лт. Симметрия матрицы означает, что АТ = А, а следствием этого свойства является такое утверждение:
1М. Если матрица А симметрическая и для нее осуществимо разложение A = LDU, то столбцы нижней треугольной матрицы L одновременно являются строками матрицы U и наоборот. Иначе говоря, матрица L является зеркальным отражением (или транспонированной к) U\ L = U^ и U = LT.
Доказательство. Начнем с разложения A = LDU и постараемся выяснить, что произойдет, если мы поменяем местами строки со столбцами. В левой части останется матрица А, поскольку предполагается, что она симметрическая. В правой части процесс транспонирования приведет к перемножению отдельно транспонированных матриц L, D и U, но в другом порядке (аналогично обращению). Иначе говоря, мы приходим к формуле Лт = = UTDTLT. Первый множитель LT формируется путем замены строк матрицы U на столбцы и, следовательно, является нижней треугольной матрицей. Другие сомножители Z)T и LA соответственно являются диагональной и верхней треугольной матрицами. Таким образом, мы видим, что получено новое «ТОУ-разложение» матрицы ЛТ=Л. Но сомножители такого разложения любой матрицы определяются однозначно (см. 1F) и, следовательно, L = = UT, D = DT и U = LA, что и завершает доказательство.
Мы еще вернемся к операции транспонирования в §3.1, но это доказательство было очень неожиданным введением к очень простой идее.
Перейдем ко второму свойству нашей конечно-разностной матрицы.
Матрица А положительно определена. Это свойство определяется (только для симметрических матриц) в. гл. 6 и данное там определение не имеет ничего общего с методом исключения. Но позже мы покажем, что оно эквивалентно другому определению, которое тесно связано с процессом исключения, а именно: симметрическая матрица А будет положительно определенной тогда и только тогда, когда все ее ведущие элементы d£ положительны. Это означает, что нам не потребуется осуществлять перестановки строк, чтобы избежать нулевого ведущего элемента, и исключение можно проводить в обычном порядке без нарушения симметричности, которое в противном случае могло произойти.
Мы знаем, что на практике нужно задавать еще один вопрос относительно ведущих элементов. Они ненулевые, но будут ли они достаточно большими? Ответ на него является другим следствием положительной определенности, с вычислительной точки зрения более важным: для практических вычислений с положительно определенными'матрицами перестановки строк не требуются. Множители L, D и U не могут иметь больших расхождений с матрицей А в масштабах. Мы сможем в этом убедиться на примере разложения нашей матрицы.
Замечание. Сказанное не означает, что здесь нет опасности ошибок округления. Плохо обусловленная матрица
Л-Р 1
.1 1.0001
Из предыдущего раздела была симметрической и положительно определенной. Такой же была и матрица Гильберта из упражнений. Положительная определенность означает только то, что исключения Гаусса без изменений строк численно так же устойчивы,
как и сама матрица.
Оставляя в стороне перечисленные основные свойства матрицы А, вернемся к тому факту, что она является трехдиагональной. Какой эффект дает это в процессе исключения? Предположим, что мы провели первый этап процесса исключения и получили нули под первым ведущим элементом:
г 2 — 1ч Г2 — 11
По сравнению с матрицей общего вида порядка пять здесь имеет
ся два основных упрощения.
Ниже ведущего элемента был только один ненулевой элемент, а в общем случае кратное первой строки нужно вычитать из каждой другой строки;
Эта одна операция исключения была выполнена с очень короткими строками. После того как нужный множитель Z21 = = — 1/2 был найден, потребовалось только одно действие умножение-вычитание справа от ведущего элемента.
Таким образом, первый этап исключений был очень упрощен наличием нулей в первой строке и первом столбце. Более того, трехдиагональная структура матрицы сохраняется в течение процесса исключений (при отсутствии перестановки строк!).
На втором этапе исключения, так же как и на любом последующем, упрощения (а) и (Ь) сохраняются.
Мы можем представить окончательный результат несколькими способами. Наибольшая наглядность достигается рассмотрением ТО(/-разложения матрицы А;
Замечания (а)—(с) можно сформулировать следующим образом: сомножители L и U разложения трехдиагональной матрицы являются двухдиагональными матрицами. Эти сомножители имеют близкую к А структуру расположения нулевых элементов. Заметим также, что L и U транспонированы друг к другу, как и должно было быть в силу симметричности, и ведущие элементы di все положительны1). Очевидно, что при стремлении/г к бесконечности ведущие элементы сходятся к -]-1. Такие матрицы доставляют вычислительной машине большое удовольствие.
Перечисленные упрощения приводят к полному пересмотру обычного подсчета числа действий. Каждый шаг исключения требует только двух действий—деления на ведущий элемент и умножения-вычитания из диагонального элемента. Таких шагов исключения около п. Следовательно, вместо п3/3 действий требуется только ^п, т. е. объем вычислений является величиной меньшего
О Позже будет показано, что произведение ведущих элементов совпадает с определителем матрицы А. В данном случае det Д=6.
порядка. То же самое справедливо для обратной подстановки — вместо п?^ действий опять требуется только 2н. Таким образом, число действий для системы с трехдиагональной матрицей пропорционально п, но не более высокой степени п. Системы Ах = Ь с трехдиагональными матрицами решаются почти мгновенно.
' Рассмотрим более общий случай, когда А— ленточная матрица, т. е. все ее ненулевые элементы лежат внутри ленты, располагающейся параллельно главной диагонали. Ширина ленты или, точнее говоря, половина ширины ленты, во определяется следующим образом. Это такое наименьшее из целых чисел, что а(у = 0 для всех |г— j)^w (см. рис. 1.2). Отсюда следует, что ленточ-
Рис. 1.2. Ленточная матрица и ее разложение.
ная матрица имеет не более 2ю—1 ненулевых диагоналей — главную диагональ и по to—1 дополнительных диагоналей по каждую сторону от нее. Ширина ленты ®=1 для диагональной матрицы, to =2 для трехдиагональной и ш = п для плотной матрицы.
Для любой ленточной матрицы справедливы замечания (а) — (с). На первом этапе исключения требуется получить только w—1 последовательных нулей ниже ведущего элемента, поскольку все элементы столбца, располагающиеся ниже, уже равны нулю. Более того, так как первая строка имеет не более w ненулевых элементов, то для получения каждого нуля достаточно w действий. Следовательно, первый этап исключения требует to (to—1) действий, причем после его реализации мы опять имеем ленточную матрицу с шириной ленты ш. Так как всего осуществляется около п этапов, то применение исключений для ленточной матрицы требует около w2n действий. Опять число действий оказывается пропорциональным величине п и, как мы видим, одновременно пропорционально квадрату величины w. Так как при стремлении w к п матрица становится плотной, то и число действий опять становится пропорциональным п3. Более точный подсчет связан с тем обстоятельством, что, когда исключения достигают нижнего правого угла матрицы А, ширина ленты становится меньше. Точное число делений и умножений-вычитаний, требуемых для построения L, D и U (без предположения симметричности А),
вычисляется по формуле P = ^-w^w—1)(3и— 2ш4-1). Для плотной матрицы, когда w = n, она принимает вид Р = ^-п(уг—1)(п-р1), т. е. согласуется с уже известной формулой1). Резюмируем изложенное: ненулевые элементы треугольных сомножителей L и U разложения матрицы А лежат внутри той же самой ленты, а процессы исключения и обратной подстановки реализуются очень быстро.
Это наш последний подсчет числа действий, и мы должны подчеркнуть один важный момент. Для матрицы типа рассмотренного нами примера конечно-разностной матрицы А обратная матрица является плотной. Следовательно, при решении системы Ах = Ь гораздо лучше знать матрицы L и V, чем матрицу Л-1. Умножение вектора b на матрицу А-1 требует п2 действий, в то время как 4п действий достаточно для решения систем Lc = b и Ux — c, т. е. проведения исключения и обратной подстановки, что позволяет получить решение х = U1c=U~1L~1b = А-1Ь.
Мы надеемся, что последний пример полезен в двух отношениях: он углубляет понимание процесса исключения (который, как мы полагаем, теперь совершенно ясен!) и дает пример системы большого порядка, которая действительно встречается на практике. В следующей главе мы вернемся к изучению «теоретической» структуры линейной системы Ах = Ь, а именно к вопросу существования и единственности ее решения х.
Упражнение 1.6.1. Модифицировать пример, рассмотренный в настоящем разделе, заменив элемент ац =2 на ап = 1, и найти Т/)17-разложение новой трехдиагональной матрицы.
Упражнение 1.6.2. Для симметрической! матрицы
6 сd ее f
применить процесс исключения для получения нулей в первом столбце под ведущим элементом а и показать, что после этого матрица порядка два в нижнем правом углу остается симметрической. Таким же способом можно показать, что симметричность сохраняется после каждого этапа исключения.
Упражнение 1.6.3. Найти матрицу Д порядка 5, возникающую при аппроксимации задачи
d^ududu
--г-я-Нх),д~ (0) = т- (0 = 0,
dx2dx v dx '
Э Приятно отметить, что P является целым числом, поскольку хотя бы одно из расположенных рядом чисел п—1, п и п-у 1 должно делиться на три.
при замене краевых условий соотношениями u0=Ui и u6 = u6. Показать, что умножение этой матрицы на вектор [1 1 1 1 1]т дает нулевой вектор и, следовательно, матрица А вырожденная. Аналогично показать, что если функция и (х) является решением непрерывной задачи, то функция и (х)+ 1 также является ее решением, т. е. указанные два условия не устраняют неопределенности в члене C-\-Dx и решение задачи не единственно.
Упражнение 1.6.4. При ft =1/4 и / (х) = 4л2 sin 2лх разностные уравнения (29) могут быть представлены в виде системы
Вычислить значения и; и найти их погрешность по сравнению с точным решением u = sin2nx в точках х=1/4, х = 1/2 и х = 3/4.
ОБЗОРНЫЕ УПРАЖНЕНИЯ
Для матриц
вычислить матрицы А + В и АВ.
Для тех же самых матриц вычислить А-1, В-1 и (АВ)-1.
С помощью исключения и обратной подстановки решить систему 2и — Зи =8, 4и — 5оД- ш=15, 2и +4ty=l.
Для матрицы коэффициентов предыдущей системы построить разложение A = LU.
Пусть задана система трех уравнений. Какая матрица Е осуществляет вычитание второго уравнения из третьего?
Какая матрица Р порядка три осуществляет перестановку первого уравнения и третьего?
Какая матрица порядка три умножает второе уравнение на —1 и оставляет другие два уравнения без изменения?
С помощью метода исключения определить, имеет ли решение система и-\- у+ ^=0, м+2и+3го=0, Зы+5и-|-7и1= 1.
С помощью метода исключения и перестановок строк решить систему
«+ и—ш=2, 3«+ Зн4-ш=2, и 4-ш—0.
Построить £1/-разложение матрицы
А = 0_0А = 0_04 0”1 03 14 0”1 03 1
А = 0
_0
А = 0
_0
4 0”
1 0
3 1
4 0”
1 0
3 1
Найти обратную к матрице
2 3"]
3 4J '
Является ли матрица порядка три обязательно обратимой, если ни одна из ее строк не пропорциональна ни одной другой? Если это не так, то привести соответствующий пример.
С помощью метода Гаусса — Жордана найти обратную к матрице
1 0
1 1
0 1
Объяснить, почему матрица, обратная к треугольной матрице, тоже является треугольной.
Если Е— матрица порядка два, умножение на которую прибавляет первое уравнение ко второму, то какой вид имеет матрица £?°? Выписать матрицы Е, Е60 и 50£.
Выписать систему с матрицей порядка два, которая имеет бесконечно много решений.
Глава 2
ТЕОРИЯ СИСТЕМЛИНЕЙНЫХ УРАВНЕНИЙ
ВЕКТОРНЫЕ ПРОСТРАНСТВАИ ПОДПРОСТРАНСТВА
В предыдущей главе описано, как проводить процесс исключения (по одному элементу) для упрощения линейной системы Ах = Ь. К счастью, этот алгоритм не только облегчает вычисление решения х, но и одновременно дает ответ на более теоретические вопросы о его существовании и единственности. Чтобы изучить прямоугольные матрицы столь же хорошо, как и квадратные, нам необходимо посвятить еще один раздел технике исключения. Тогда у нас будут все необходимые нам понятия. Но, концентрируя внимание на отдельных элементах, мы приходим к несколько одностороннему восприятию линейных систем; поэтому главная цель настоящей главы—достичь разностороннего и глубокого понимания проблемы. Нам потребуется понятие векторного пространства. Но мы хотим ввести его не с помощью обычной системы аксиом, а на примере трех уравнений с двумя неизвестными:
ОО(1)(1)"1
О
О
(1)
(1)
5
_2
Если бы неизвестных было больше, чем уравнений, мы могли бы надеяться найти одно или даже бесконечно много решений (хотя это и не всегда так). В данном же случае число уравнений больше чем число неизвестных (т > /г), и можно ожидать, что здесь, как правило, не будет существовать решения. Система (1) будет разрешима только для некоторых правых частей, т. е. для очень «тонкого» подмножества множества всевозможных трехмерных векторов Ь. Наша задача — выделить это подмножество.
Способ его описания настолько прост, что позволяет полностью его обозреть.
2А. Система Ах = Ь разрешима тогда и только тогда, когда вектор b может быть представлен в виде линейной комбинации столбцов матрицы А.
Это описание — не что иное, как переформулировка системы Ах — b в следующем виде:
ии5252*"044*"044А"ь»А"ь»(2)(2)
и
и
5
2
5
2
*"0
4
4
*"0
4
4
А"ь»
А"ь»
(2)
(2)
Здесь те же самые три уравнения с двумя неизвестными. Но теперь задача выглядит следующим образом: найти такие веса и и у, чтобы умножая первый столбец матрицы Л на и, а второй столбец на и и складывая полученные векторы, в результате получить вектор Ь. Система (1) разрешима, когда такие веса существуют. При этом пара (и, у) представляет собой решение х1).
Таким образом, подмножество правых частей Ь, для которых система (1) разрешима, есть множество всех линейных комбинаций столбцов матрицы А. В качестве b можно взять, например, первый столбец этой матрицы; тогда и=1 и у = 0. Другая возможность — второй столбец этой матрицы: м = 0 и у= 1. Третий вариант — правая часть b равна нулю; здесь веса таковы: и = 0, у = 0 (и при таких тривиальных весах получается Ь = 0 вне зависимости от матрицы коэффициентов).
Теперь мы дадим геометрическое описание этого результата: система Ах = Ь разрешима тогда и только тогда, когда вектор b лежит в плоскости, являющейся линейной оболочкой вектор- столбцов матрицы А (рис. 2.1). Эти векторы являются отрезками прямых, соединяющими начало координат (0, 0, 0) с точками (1, 5, 2) и (0, 4, 4) соответственно. Сама плоскость определяется этими двумя прямыми. Она не ограничивается векторами с положительными компонентами: например, весам и =—1, у=1 соответствует Ь = (—1, -1, 2).
Построенная плоскость иллюстрирует одно из наиболее важных понятий линейной алгебры—понятие векторного пространства. Под векторным пространством мы подразумеваем набор векторов, удовлетворяющих следующим двум условиям:
сумма ЪА-Ь' двух любых векторов Ь, Ь' из векторного пространства принадлежит этому пространству;
произведение любого вектора b из векторного пространства на любой скаляр с также принадлежит этому пространству.
х) Мы используем здесь слово «веса», как синоним слова «коэффициенты», поэтому веса не обязательно положительны.
Рис. 2.1. Пространство столбцов матрицы А—плоскость в трехмерном пространстве.
Другими словами, множество векторов, лежащих в нашей плоскости, замкнуто относительно сложения и умножения на скаляр1). Плоскость является подмножеством множества всех трехкомпонентных векторов b = ^bv b2, bs), а это большее множество в свою очередь является векторным пространством, а именно всем трехмерным пространством. Наша плоскость фактически является подпространством, т. е. таким подмножеством векторного пространства, которое само является векторным пространством. Мы называем ее пространством столбцов матрицы Л, потому что она порождается этими столбцами.
Легко выделить два крайних варианта пространства столбцов матрицы. Первый возникает при нулевой матрице Л = 0 порядка п. Пространство столбцов этой матрицы содержит только один вектор, а именно вектор (0, 0, ..., 0). Тем не менее это(не пустое!) векторное пространство, так как сложение и умножение на скаляр не выводят за его пределы. Это наименьшее из возможных векторных пространств. Другой крайний вариант дает единичная матрица Л = / порядка п. Пространством ее столбцов является все n-мерное пространство, так как каждый вектор-столбец с п компонентами может быть представлен в виде линейной комбинации столбцов единичной матрицы. Мы предполагаем, что эти компоненты являются вещественными числами, хотя могли бы рассматривать матрицы Л и векторы х и b с комплексными компонентами, причем никаких новых проблем здесь не возникло бы.
г) Слово замкнуто означает, что эти операции не выводят нас за пределы плоскости. Мы не интересуемся операцией перемножения двух векторов.
Пространство всех вещественных п-мерных векторов будем обозначать символом Rn. Плоскость, изображенная на рис. 2.1, является подпространством пространства R3.
Различие между подмножеством и подпространством лучше всего пояснить примерами. Некоторые мы приведем сейчас, а остальные позже. При этом в каждом случае должен быть решен вопрос, выполнены ли условия (i) и (ii).
Пример 1. Пусть S состоит из всех векторов, кратных заданному вектору и, скажем вектору (1, 4, —2). Эти векторы заполняют прямую в трехмерном пространстве R3, которая проходит через начало координат, так как нулевой вектор 0 = 0-v является кратным вектору и. Такое подмножество S оказывается подпространством, потому что сумма двух любых векторов, лежащих на этой прямой, как и любое кратное такого вектора, также лежит на этой прямой.
Пример 2. Пусть 3 состоит только из двух векторов (0, 0, 0) и (1, 0, 0). Тогда условие (ii) не выполнено, потому что произведение 5-(1, 0, 0) не принадлежит 3. Не выполнено также и условие (i): мы можем взять и в качестве Ь, и в качестве Ь' вектор (1, 0, 0), и тогда их сумма ЬД-Ь' множеству 3 не принадлежит.
Пример 3. Пусть 3 состоит из всех векторов, лежащих на прямой, параллельной оси х, т. е. 3 — множество всех векторов, у которых компонента х произвольна, а компоненты у и г фиксированы, скажем у = 3 и z = 4. Это подмножество тоже не удовлетворяет условиям (i) и (ii), хотя и является прямой. Вектор, равный сумме двух векторов, лежащих на этой прямой, имеет компоненты i/ = 6, z = 8 и, следовательно, лежит на другой прямой. Более того, нулевой вектор не принадлежит 3, а из условия (ii) следует, что каждое подпространство должно содержать нулевой вектор.
Закончим это краткое введение. С геометрической точки зрения здесь трудно было что-либо пропустить, поскольку основные факты отражены на рис. 2.1:
множество векторов Ь, для которых система Ах—Ь разрешима, образует двумерное пространство столбцов", два столбца матрицы А порождают плоскость, причем менее чем два вектора порождать эту плоскость не могут;
векторы, проходящие через начало координат и перпендикулярные этой плоскости, лежат на одной прямой; эти векторы также образуют подпространство, которое одномерно;
каждый вектор из трехмерного пространства можно разложить в сумму двух векторов, один из которых лежит в этой
плоскости, а второй перпендикулярен ей, и это разложение единственно).
Из геометрических соображений эти факты более или менее очевидны. Но мы еще не имеем алгебраического способа их выражения или проверки, или обобщения на случай системы т уравнений с п неизвестными (другими словами, на п столбцов и т- мерное пространство). Это одна из двух целей, которые мы пре
следуем.
Вторая цель настоящей главы «двойственна» к первой. Мы интересуемся не только правыми частями Ь, для которых разрешима система (1), но и множеством всех решений х для каждого такого вектора Ь. Правая часть 6 = 0 всегда допускает решение х = 0, но может существовать бесконечно много других решений. (Мы докажем, что в случае, когда неизвестных больше, чем уравнений (п > т), система Ах=-0 должна иметь решения, отличные от нулевого решения х = 0.) Множество решений системы Ах — 0 образует
векторное пространство, называемое нуль-пространством матрицы А. Оно является подпространством пространства R", в то время как пространство столбцов матрицы А было подпространством пространства R"2.
"15 .2"15 .2С "и4 [иС "и4 [иНетрудно решить систему Ах = 0 и, таким образом, найти нуль-пространство матрицы А для приведенного выше примера системы
"1
5 .2
"1
5 .2
С "и
4 [и
С "и
4 [и
'01 ' 0
_0_
Первое уравнение дает и —О, а из второго следует, что и = 0. Поэтому в данном случае нуль-пространство состоит из единственной точки, а именно из нулевого вектора; только одна комбинация столбцов дает вектор b = 0, это комбинация с весами и = 0, v = 0.
Ситуация изменится, если мы добавим третий столбец, являющийся линейной комбинацией двух других:
Г1 0 11
5—549
2 4 6
Пространство столбцов матрицы В совпадает с пространством столбцов матрицы А, потому что новый столбец лежит в плоскости, изображенной на рис. 2.1. Но нуль-пространство этой новой матрицы В содержит вектор с компонентами 1, 1, —1, а также
Следовательно, нуль-пространство матрицы В представляет собой прямую, содержащую все точки х = с, у = с, г =—с, где с пробегает значения от —оо до оо. Эта прямая проходит через начало координат, как и положено подпространству. Кроме того, перпендикулярное к этому одномерному нуль-пространству пространство (плоскость) оказывается тесно связанным со строками матрицы В и является особенно важным.
Подведем итог: нам нужно для любой системы Ах = Ь уметь находить все правые части Ь, для которых эта система разрешима, и все решения системы Ах = 0. Это значит, что мы должны уметь находить размерности введенных выше подпространств и множества векторов, порождающие их. Мы также надеемся, что к концу наших исследований будем ясно представлять себе все четыре тесно связанные между собой подпространства—пространство столбцов матрицы А, ее нуль-пространство и ортогональные к ним подпространства.»
Упражнение 2.1.1. Показать, что условия (I) и (ii) в определении векторного пространства независимы, установив, что
подмножество двумерного пространства может быть замкнутым относительно операции сложения и даже вычитания, но не замкнутым относительно операции умножения на скаляры;
подмножество двумерного пространства может быть замкнутым относительно операции умножения на скаляры, но не замкнутым относительно операции сложения векторов.
Упражнение 2.1.2. Какие из следующих подмножеств являются подпространствами пространства R3?
Множество векторов из R3 с первой компонентой 6j=0.
Множество векторов 6 с ^ == 1.
Множество векторов b с b1b2 = 0 (это множество является объединением двух подпространств: плоскости Ь1 = 0 и плоскости 62 = 0).
Множество, состоящее из одного вектора Ь = (0, 0, 0).
Всевозможные линейные комбинации двух векторов « = (1,1,0) и п = (2, 0, 1).
Множество векторов 6 = (61, Ьг, Ь^), компоненты которых удовлетворяют условию 63—62-|-361 = 0.■
Упражнение 2.1.3. Проверить, что нуль-пространство любой матрицы А является подпространством, т. е. что множество решений системы Ах = й замкнуто относительно сложения и умножения на скаляры. Привести контрпример для случая 6 ^ 0.
§ 2.2. РЕШЕНИЕ т УРАВНЕНИЙС п НЕИЗВЕСТНЫМИ
К настоящему моменту процесс исключения для квадратных матриц можно считать достаточно хорошо изученным. Поэтому, чтобы проиллюстрировать новые ситуации, возникающие в случае прямоугольной матрицы, нам будет достаточно одного примера. Сами исключения проводятся без значительных изменений, но, когда дело доходит до получения решения путем обратной подстановки, возникают некоторые различия.
Прежде чем переходить к этому примеру, мы проиллюстрируем различные возникающие тут ситуации на примере простейшего скалярного уравнения ах = Ь. Эта «система» содержит только одно уравнение с одним неизвестным. Очевидно, что здесь имеется три возможности:
Если а^О, то для любого b существует решение х = Ь/а, и это решение единственно. Это невырожденный случай (обратимая матрица порядка один).
(и) Если а = 0 и 6 = 0, то существует бесконечно много решений, потому что любое число х удовлетворяет уравнению 0-х = 0. Это случай недоопределенной системы, т. е. решение существует, но не единственно.
Если а = 0, а 6^0, то решения не существует. Эго случай несовместной системы.
Выберем теперь менее тривиальный пример. Забыв на время о правой части Ь, будем оперировать только с матрицей
А =А =' 12— 1' 12— 136—336—33 2"9 53 03 2"9 53 0
А =
А =
' 1
2
— 1
' 1
2
— 1
3
6
—3
3
6
—3
3 2"
9 5
3 0
3 2"
9 5
3 0
порядка 3x4. Так как ап = 1, то с помощью обычных элементарных операций можно получить нули в первом столбце ниже
элемента ан:элемента ан:А -А -1о о1о о3003003363362’122’12
элемента ан:
элемента ан:
А -
А -
1
о о
1
о о
3
0
0
3
0
0
3
3
6
3
3
6
2’
1
2
2’
1
2
Второй элемент во второй строке теперь стал нулевым (элемент622), поэтому мы ищем во втором столбце ниже него ненулевой элемент, намереваясь поменять местами строки. В данном случае все элементы второго столбца, стоящие ниже 622, равны нулю. Если бы первоначальная матрица была квадратной, то это означало бы, что она вырожденная. В случае прямоугольной матрицы могут встретиться любые неожиданности, и у нас нет оснований
прекращать процесс исключения. Единственное, что мы можем сделать —это перейти к следующему столбцу, где ведущий элемент не равен нулю. Вычитая удвоенную вторую строку из третьей, получим матрицу
3 3 2"
О 3 1
О 0 0_
Строго говоря, мы должны были бы теперь заняться четвертым столбцом. Однако там мы вновь сталкиваемся с нулем на месте ведущего элемента и ничего больше сделать не можем. Поэтому первый этап исключения завершен.
Окончательная матрица U имеет верхнюю треугольную форму или, более точно, верхнюю трапецеидальную, т. е. все ее ненулевые элементы и1} лежат выше главной диагонали, i^/. Легко видеть, что ненулевые элементы преобразованной матрицы занимают область, имеющую форму «ступенек» или «уступов», изображенную на рис. 2.2. Ненулевые ведущие элементы взяты
* *
* * * * $
0
® *
-^ £ ^ * ^<
*
и =
0
0 0
® * * * *
*
0
0 0
0 0 0 0 0
®
0
0 0
0 0 0 0 0
0
Рис. 2.2. Ненулевые элементы типичной ступенчатой матрицы U.
в кружок. Элементы же, обозначенные просто символом *, могут быть как нулевыми, так и ненулевыми.
Проанализируем рис. 2.2:
Ненулевые строки расположены выше нулевых (в противном случае надо было произвести перестановку строк) и каждый ведущий элемент является первым ненулевым элементом в своей строке.
В каждом столбце все элементы, расположенные ниже ведущего, равны нулю.
• (iii) Каждый ведущий элемент лежит правее ведущих элементов предыдущих строк.
Упражнение 2.2.1. Ступенчатый вид, изображенный на рис. 2.2, возникает в тех случаях, когда некоторые элементы столбцов — кандидаты на роль ведущих элементов — оказываются равными нулю (такие, как в 3 и 5—8 столб
цах). Изобразить ступенчатую форму 5 X 9-матрицы, у которой нет нулевых ведущих элементов. Показать на примере, что сумма двух матриц ступенчатого вида может уже не иметь ступенчатый вид даже в случае матриц порядка 2, поскольку ведущие элементы могут уничтожить друг друга.
Так как мы начали с матрицы А и закончили матрицей U, нетерпеливый читатель обязательно спросит: «Связаны ли эти матрицы посредством нижней треугольной матрицы L соотношением A = LU, как раньше?» Вероятно, сомневаться в этом нет причин, поскольку шаги исключения не изменились. На каждом шаге по-прежнему производится вычитание одной строки, умноженной на соответствующее число, из строки, расположенной ниже. Более того, обращение каждого шага выполняется так же, как и раньше, путем прибавления того, что вычиталось. Эти обратные шаги следуют в определенном порядке, что позволяет нам записать их в виде матрицы L:
Г 1 оГ 1 оL= 2 1L= 2 11 21 2О' 01О' 01
Г 1 о
Г 1 о
L= 2 1
L= 2 1
1 2
1 2
О' 0
1
О' 0
1
Читатель легко может проверить, что A = LU. Нужно также отметить, что матрица L не прямоугольная, а квадратная. Порядок т = 3 этой матрицы равен числу строк в матрицах А и U.
В нашем примере не потребовалось осуществлять перестановки строк. Однако в общем случае это необходимо. Как и в § 1.5, это приводит к матрицам перестановки Р. Если все строки матрицы А переставить до начала исключения, то это даст тот же эффект, что и в соответствующем месте первой главы. Далее, так как мы теперь договорились переходить к следующему столбцу, когда в данном столбце нет ненулевого ведущего элемента, у нас отпала необходимость в предположении, что матрица невырожденная. Этот факт представляет собой основную теорему:
2В. Для любой матрицы А размера тхп существуют такие матрица перестановки Р, нижняя треугольная матрица L с единицами на диагонали и верхняя трапецеидальная матрица U, ненулевые элементы которой лежат в области, имеющей ступенчатый вид, что PA = LU.
Теперь наша цель —полностью описать множество всех решений системы Ах = Ь (если они существуют).
Начнем со случая однородного уравнения с Ь = 0. Тогда, поскольку элементарные операции со строками не оказывают никакого влияния на нули в правой части системы Ах = 0, последняя
редуцируется к системе Ux = O;
"1 О_О"1 О_О3 3 2Д Г и0 3 1 у3 3 2Д Г и0 3 1 у■ ОТ о о
"1 О
_О
"1 О
_О
3 3 2Д Г и
0 3 1 у
3 3 2Д Г и
0 3 1 у
Неизвестные и, у, w и у распадаются на две группы. Одна группа состоит из базисных переменных, которые соответствуют столбцам с ненулевыми ведущими элементами (в нашем примере первый и третий столбцы содержат ненулевые ведущие элементы, поэтому и и w—базисные переменные). Другая группа образуется свободными переменными, соответствующими столбцам без ведущих элементов, т. е. второму и четвертому столбцам. Поэтому и и у являются свободными переменными.
Чтобы найти наиболее общее решение системы Ux=0 (или, что эквивалентно, системы Ах — 0), мы можем придавать свободным переменным произвольные значения. Предположим, что мы обозначили эти значения просто через у и у. Тогда базисные переменные полностью определяются и могут быть вычислены через свободные переменные с помощью обратной подстановки. Система Ux = 0 эквивалентна следующим двум уравнениям:
Зо> + у = 0, или w = — ^у,
и + Зи + Зш + 2г/= 0, или и = —Зу —у.
Таким образом, мы имеем «двойную бесконечность» решений нашей системы, зависящих от свободных и независимых параметров у и у. Общее решение выражается через эти параметры соотношением
(3)(3)
(3)
(3)
Посмотрим еще раз на последнюю формулу общего решения системы Ах = 0. Вектор (—3, 1,0,0) дает решение, когда свободные переменные имеют значения у=1 и у = 0, а вектор (—1, 0, —1/3, 1) является решением с у = 0 и у — 1. Все остальные решения являются линейными комбинациями этих двух. Ситуация здесь такая же, как и в начале этой главы, где было установлено, что вектор Ь, для которого система Ах = Ь разрешима, является линейной комбинацией столбцов матрицы А. В данном случае, правда, мы имеем дело не со столбцами матрицы А,
а с ее нуль-векторами, т. е. с решениями системы Ах = 0. Эти векторы не совпадают уже по длине со столбцами матрицы А: они имеют не т, а п компонент, т. е. их длина равна длине строк матрицы А.
Геометрически получается следующая картина: в четырехмерном пространстве решения системы Ах = 0 образуют двумерное подпространство —нуль-пространство матрицы А. Это нуль- пространство может быть описано как «плоскость», которая порождается двумя векторами (—3, 1, 0, 0) и (—1,0,—1/3,1). (Читатель не должен требовать четырехмерной картинки.) Линейные комбинации этих двух векторов образуют множество, которое замкнуто относительно сложения и умножения на скаляры, так как эти операции попросту приводят к другим комбинациям тех же самых двух векторов, и все эти комбинации составляют нуль-пространство исходной матрицы.
В настоящий момент уместно привести одну крайне важную теорему. Предположим, что исходная матрица имеет больше столбцов, чем строк, т. е. п > т. Тогда, так как в процессе исключения не может возникнуть более чем т ненулевых ведущих элементов (для этого у нас не хватит строк), то число свободных переменных не может быть меньше, чем п—т. Более того, число свободных переменных может быть даже больше, если, как в нашем последнем примере, некоторые строки матрицы U станут нулевыми. Этим свободным переменным могут присваиваться различные значения, что и приводит нас к следующему заключению:
II 2С. Каждая однородная система Ax — Q, имеюшря больше неизвестных, чем уравнений (п > т), имеет хотя бы одно ненуле- j вое решение, т. е. имеет некоторое решение х, отличное от нуля.
Таких решений в действительности должно быть бесконечно много, так как любое кратное сх решения х также будет удовлетворять исходной системе. И если имеются дополнительные свободные переменные, то нуль-пространство становится больше, чем прямая «-мерного пространства. Точнее говоря, нуль-пространство является подпространством, размерность которого равна числу свободных переменных.
Неоднородный случай, 6=^0, в корне отличается от однородного. Вернемся к первоначальному примеру Ах = Ь и применим к обеим частям системы операции, ведущие от матрицы А к мат-
Вектор с, стоящий в правой части, получился в результате применения метода исключения, И так же, как и в предыдущей главе, c = L~4).
Совсем не ясно, имеет система уравнений (4) решения или нет. Третье уравнение вызывает здесь серьезное подозрение: его левая часть равна нулю и система может быть совместной, только когда Ь3—2ba + ЬЬ1 = 0. Другими словами, множество векторов Ь, для которых система Лх = 0 разрешима, не совпадает со всем трехмерным пространством, несмотря на то что неизвестных здесь больше, чем уравнений. Мы уже знаем (см. стр. 63) другой путь исследования возникшего вопроса: система Ах = Ь. совместна тогда и только тогда, когда b принадлежит пространству столбцов матрицы А. Это подпространство порождается четырьмя столбцами
2 , — 1
матрицы А (но не Д!).
‘ 3'
6 ,— 3JОчевидно,
"3 "
9
3
"2 "
5
0
что, хотя здесь и четыре век
тора, их линейная оболочка заполняет только плоскость в трех
мерном пространстве, поскольку второй столбец равен утроенному первому, а четвертый столбец равен сумме первого столбца и третьего с коэффициентом 1/3. (Отметим, что именно эти зависимые столбцы не имеют ведущих элементов.) Пространство столбцов
может быть теперь описано двумя совершенно различными способами. С одной стороны, это плоскость, порожденная столбцами
1 и 3; другие столбцы принадлежат этой плоскости и не дают ничего нового. С другой стороны, эта плоскость должна состоять из всех векторов (bv Ьг, ЬА, которые удовлетворяют условию Ь3 —2Ь„ + ЬЬА = 0. Эго ограничение должно быть наложено на Ь, если мы хотим, чтобы система (4) была разрешима. Читатель может убедиться, что эти две плоскости совпадают, показав, что
все четыре приведенные выше вектора удовлетворяют этому ограничению. Из геометрических соображений видно, что вектор (5, —2, 1) перпендикулярен к построенной плоскости и, следовательно, перпендикулярен ко всем столбцам матрицы А.
Если теперь мы предположим, что вектор b лежит в определенной выше плоскости, т. е. принадлежит пространству столбцов матрицы А, то решение системы Ах — b легко найти. Последнее уравнение в системе (4) становится рагенством 0 = 0. Свободным
переменным о и у мы можем придавать, как и раньше, произвольные значения. Тогда базисные переменные определяются с помощью обратной подстановки:
Зш + y = b3—2bv или w= — -^у + ^b* — 2bl),
и ф- Зи + 3m 4- 2у = bv или и =—Зи—у + '^х—bv
Мы опять получаем «двойную бесконечность» решений. Выражая компоненты и и w через величины о и у, можно выписать общее
решение в следующем виде:
(б)
Сравнивая это выражение с общим решением (3), полученным для однородной системы, мы видим, что общее решение (5) отличается от него только дополнительным слагаемым (ЗЬХ—Ьа, О, (Ь2—2Ь1)/3, 0). Этот вектор—частное решение системы Ах=Ь, а общее решение х этой системы представляет собой сумму этого частного решения и общего решения однородной системы Дх = 0. Геометрически изложенное выглядит следующим образом: решения
снова принадлежат плоскости в четырехмерном пространстве, но они уже не образуют подпространства, так как эта плоскость не проходит через начало координат, поскольку при b ^ 0 вектор х = 0 не является решением системы Ах = Ь. Эта плоскость, конечно, параллельна нуль-пространству, полученному раньше, но она смещена относительно него на вектор, дающий частное решение. На самом деле мы и не должны были ожидать, что решения системы Ах = Ь образуют подпространство, потому что сумма двух таких решений х1 и х2 является решением новой системы Ах = 2Ь. Иначе говоря, множество решений образует подпространство только в случае однородной системы.
Отметим, что найденное нами частное решение системы Ах = Ь является только одной из точек плоскости всех решений. Любая другая точка этой плоскости с тем же успехом может быть выбрана в качестве частного решения; то частное решение, которое мы выбрали сначала, соответствует выбору значений и = 0, у = 0 для свободных переменных.
Подведем итог распространению метода исключения Гаусса на прямоугольные матрицы.
2D. Предположим, что прямоугольная матрица размера тхп приведена с помощью элементарных операций и перестановки строк к матрице U ступенчатого вида. Далее, пусть матрица U имеет г ненулевых ведущих элементов, т. е. последние т—г строк матрицы U являются нулевыми. Тогда г переменных будут базисными, ап—г переменных—свободными, причем они соответствуют столбцам матрицы U с ведущими элементами и без ведущих элементов соответственно. Нуль-пространство, образованное решениями системы Ах=0, имеет
п— г свободных переменных в качестве независимых параметров. Если r — п, то свободные переменные отсутствуют, а нуль- пространство содержит только один вектор x = Q.
Решение существует для любой правой части b тогда и только тогда, когда г = т; в этом случае матрица U не имеет нулевых строк и система Ux = c может быть решена с помощью обратной подстановки. В случае г <т матрица U будет иметь т—г нулевых строк, и, следовательно, для разрешимости системы Ах = Ь на вектор b необходимо наложить т—г ограничений, которые присутствуют в явном виде в последних т—г строках системы Ux = c. Если существует одно решение системы Ах = Ь, то любое другое решение этой же системы отличается от первого на вектор из нуль-простран- ства матрицы А.
Число г называется рангом матрицы А.
Упражнение 2.2.2. Построить систему как можно меньшего порядка, ;ющую больше неизвестных, чем уравнений, и не имеющую решения.
Упражнение 2.2.3. Вычислить ^/-разложение для матрицы
А =А ="1О1"1О1212212О 1 ОО 1 ОГо 1Го 1
А =
А =
"1
О
1
"1
О
1
2
1
2
2
1
2
О 1 О
О 1 О
Г
о 1
Г
о 1
Определить множество базисных переменных, множество свободных пере- генных и найти общее решение системы Ах = 0. Записать его в форме, анало- ичной (3). Каков ранг матрицы Д?
Упражнение 2.2.4. Для матрицы
ГО 1 4 О"
[О 2 8 0J’
пределить ступенчатый вид матрицы U, базисные и свободные переменные и бщее решение системы Дх = 0. После этого применить метод исключения ; системе Ах = Ь, где вектор b имеет компоненты Ь^ и 62- Найти условие азрешимости системы Ах = Ь и ее общее решение в форме, аналогичной (5), <аков ранг матрицы А?
, для матрицы, для матрицыУпражнение 2.2.5. Проделать все то же самое, что и в предыдущем уп-
, для матрицы
, для матрицы
ГОГОооО'
ГО
ГО
о
о
2
8О
ированнои к ^1> 6г> ^з> ^4>ированнои к ^1> 6г> ^з> ^4>матрице А из этого упражнения, и вектора b с компо-
ированнои к ^1> 6г> ^з> ^4>
ированнои к ^1> 6г> ^з> ^4>
Упражнение 2.2,6. Выписать общее решение системы
ww
w
w
в виде суммы частного решения и общего решения однородной системы, т. е. в форме (5).
системысистемыУпражнение 2.2.7. ОписатьУпражнение 2.2.7. Описатьмножество допустимых правых частей b длямножество допустимых правых частей b для
системы
системы
Упражнение 2.2.7. Описать
Упражнение 2.2.7. Описать
множество допустимых правых частей b для
множество допустимых правых частей b для
найдя ограничения на 6, превращающие получающееся после исключения третье уравнение в 0 = 0. Каков ранг матрицы этой системы?
Упражнение 2.2.8. При каких значениях с разрешима система уравнений « + п+2щ = 2, 2«+3v— ш = 5, Зц-|-4у4- w—c.
Дополнительное замечание. Часто процесс исключения не заканчивают на матрице U, а продолжают до получения матрицы еще более простого вида, так называемой ступенчатой матрицы, приведенной по строкам, отличающейся от матрицы U тем, что все ее ведущие элементы превращены в +1 делением строк на подходящие константы, и hj левые элементы получены не только ниже, но и выше всех ненулевых ведущих элементов. Для рассмотренного выше примера ступенчатая матрица, приведенная по строкам, имеет следующий вид:
"1 3 0 1 '
0 0 1 4 •
_0 0 0 0 . •
Для невырожденной квадратной матрицы соответствующая матрица, приведенная по строкам, будет просто единичной матрицей. Это пример исключения по методу Гаусса—Жордана (стр. 45) вместо обычного сведения к разложению A = LU по методу Гаусса.
Так как исключения Гаусса—Жордана в практических вычислениях с квадратными матрицами требуют больше времени, а ленточная структура матрицы А не сохраняется в матрице А-1, то получение такой специальной ступенчатой формы матрицы требует слишком много операций, чтобы ее использовать на компьютере. Тем не менее с теоретической точки зрения она важна как «каноническая форма» матрицы А: вне зависимости от выбора элементарных операций, включая перестановки строк и деление строк на константу окончательная ступенчатая матрица, приведенная по строкам, всегда одна и та же.
ЛИНЕЙНАЯ НЕЗАВИСИМОСТЬ, БАЗИСИ РАЗМЕРНОСТЬ
Сами по себе числа т и п дают неполную картину истинных размеров линейной системы. Матрица в нашем примере имела три строки и четыре столбца, но фактически третья строка была только комбинацией первых двух. После проведения исключения она переходит в нулевую строку и не оказывает никакого влияния на решение однородной системы Ах=0. Четыре столбца также не могут быть независимыми и пространство столбцов вырождается в двумерную плоскость, потому что второй и четвертый столбцы являются линейными комбинациями первого и третьего.
Важной величиной, которая возникла только в предыдущем параграфе, является ранг г. На стр. 75 ранг был введен чисто вычислительным способом как число ненулевых строк в окончательной матрице U. Это определение настолько механическое, что может быть предоставлено вычислительной машине. Но было бы неверно остановиться на нем, потому что ранг имеет простой и наглядный смысл: он равен числу линейно независимых строк в матрице А.
Наша цель—дать этой и подобным ей величинам определения скорее математические, чем вычислительные.
Для начала определим понятие линейной независимости. Пусть дано множество векторов vv и2. ...,ик, и рассматриваются всевозможные их линейные комбинации ctux + 4- сгиг + ... A-ckok. Очевидно, что тривиальная комбинация со всеми весами, равными нулю (ct = 0, i = 1; .. ., А), есть нулевой вектор. Вопрос состоит в том, существуют ли другие линейные комбинации, равные нулевому вектору.
Если ни одна нетривиальная комбинация векторов ov . .. ,vk не равна нулю, т. е.
с^А-... A-ckvk = 0^c1= ... =ск = 0, (6)
то эти векторы называются линейно независимыми. В противном случае эти векторы называются линейно зависимыми, и один из них является линейной комбинацией остальных.
Пример 1. Если один из заданных векторов, скажем uv является нулевым вектором, то множество векторов vtuk линейно зависимо. Действительно, мы можем выбрать ^ = 3, а все остальные С; положить равными 0, i^l. Тогда эта нетривиальная линейная комбинация равна нулевому вектору.
Пример 2. Три строки матрицы
А =А =' 1326— Г —3' 1326— Г —33933932"5О2"5О
А =
А =
' 13
26
— Г —3
' 13
26
— Г —3
3
9
3
3
9
3
2"
5
О
2"
5
О
линейно зависимы. Если эти строки обозначить буквами yt, иг и у3, то 5У1 — 2у2 + у3 = 0. (Это такая же комбинация, как и полученная ранее для величин Ь^ Ьг и 63, которая должна была равняться нулю, чтобы уравнения системы были совместны; в противном случае третье уравнение системы Ux = c было бы противоречиво.)
Пример 3, Строки единичной матрицы порядка п
"1 0 ... О-'0 1 ... о
L0 0... Ij
линейно независимы. Мы обозначим вектор-строки этой матрицы через а,, ..., еп соответственно. Они представляют собой единичные векторы в направлении осей координат:
^ = (1. 00),.... е„ = (0, 01).(7)
Обычная процедура доказательства линейной независимости этих векторов такова. Предположим, что некоторая линейная комбинация с1е1 + ... + спеп векторов et, ..., еп равна нулевому вектору, и требуется доказать, что все веса C;, z = 1, ..., п, должны быть равны нулю. В данном случае мы можем просто вычислить, что
ctet + ... +cnen=(ct, сг, .... сп),
и, поскольку эта комбинация является нулевым вектором, что очевидно, с,- = 0, t= 1, ..., п. Отсюда, так как только тривиальная комбинация дает нулевой вектор, следует, что координатные векторы е(, ..., еп линейно независимы.
Пример 4. Предположим, что матрица U является верхней треугольной матрицей порядка п с ненулевыми элементами на диагонали (ведущими элементами). Тогда строки матрицы U линейно независимы. Для доказательства мы начнем, как и раньше, с предположения о том, что некоторая линейная комбинация строк равна 0, СЩ1+ ... +спип = 0. Так как U является верхней треугольной матрицей, ее первый столбец имеет только одну не-
нулевую компоненту ulv Поэтому первая компонента вектора с1и1 + ... + спип равна cxuiv а так как с^ 4-...+с„ип —0, то с1и11 = 0 и, следовательно, Ci = 0. Рассматривая далее вторые компоненты, видим, что с1ы12 + с2и2а=0 и, так как сг = 0 и н22^=0, мы получаем с2 = 0. Продолжая таким же образом, легко доказать, что все веса будут равны нулю. Таким образом, только одна тривиальная комбинация дает нулевой вектор, и, следовательно, строки матрицы U линейно независимы.
Те же самые рассуждения применимы и к столбцам матрицы U, а именно столбцы с ненулевыми ведущими элементами линейно независимы. Аналогичные рассуждения применимы фактически к любой ступенчатой матрице при условии, что мы рассматриваем только строки (или столбцы) с ненулевыми ведущими элементами.
2F. г ненулевых строк ступенчатой матрицы U линейно независимы. Линейно независимы также г ее столбцов, которые содержат ведущие элементы.
Подчеркнем, что понятие линейной независимости не зависит от выбора осей координат. Если заданы к точек в n-мерном пространстве, то векторы, выходящие из начала координат и оканчивающиеся в этих точках, либо линейно зависимы, либо линейно независимы, вне зависимости от того, где мы поместим оси координат. Вращение осей может изменить координаты этих векторов, но не окажет никакого влияния на их линейную зависимость или независимость.
С другой стороны, для заданного произвольного множества щ, ,..,ии векторов проверка их зависимости или независимости, очевидно, требует вычислений. Так как мы должны рассматривать линейные комбинации с^ + ...+cAvft, то естественно будет сформировать матрицу А, столбцами которой будут данные векторы. Тогда, если мы через с обозначим вектор весов с=^сг, ..., с^ и вспомним операцию матричного умножения, то легко убедимся, что
Лс=Г|Лс=Г|«г о8«г о8= ^4-...+^.= ^4-...+^.
Лс=Г|
Лс=Г|
«г о8
«г о8
= ^4-...+^.
= ^4-...+^.
Следовательно, векторы uv ...,uk линейно зависимы тогда и только тогда, когда существует нетривиальное решение системы Ас = 0. Этот факт устанавливается посредством процесса исключения. Если ранг матрицы А равен к, то свободных переменных не будет, нуль-пространство будет содержать только нулевой вектор и, следовательно, векторы будут линейно независимы. Если
же ранг матрицы А меньше, чем А, то по крайней мере одна переменная будет свободной. Поэтому ее можно выбрать отличной от нуля и, следовательно, столбцы матрицы Л, т. е. векторы ц1т ..., vA будут линейно зависимыми.
Один случай особенно важен. Пусть векторы имеют m компонент и А будет прямоугольной матрицей порядка тхк. Предположим, что k > т. Тогда матрица А не может иметь ранг А, потому что число ненулевых ведущих элементов не может превысить число строк. Ранг должен быть меньше, чем к, а однородная система Ас — 0, имеющая больше неизвестных, чем уравнений, всегда имеет ненулевое решение с.
2G. Множество к векторов из R* обязательно будет линейно зависимо, если к> т.
Читателю нетрудно увидеть здесь иную форму утверждения 2 С. Пример 5. Рассмотрим матрицу 12 11
А = I 3 2 ’
имеющую три столбца. В двумерном пространстве R2 не может быть трех линейно независимых векторов. Чтобы найти комбинацию столбцов, равную нулевому вектору, мы решим систему Ас = 0;'
Если присвоить значение 1 свободной переменной с„ то обратной подстановкой из Uc=0 получим с2 =— 1, Cj = 1. Линейная комбинация с этими тремя весами, т. е. первый столбец минус второй плюс третий, равна нулю.
Упражнение 2.3.1. Установить, будут или нетУпражнение 2.3.1. Установить, будут или нетлинейно независимыми еле-линейно независимыми еле-дующие векторы: Г]'■10L0_дующие векторы: Г]'■10L0_Г11 о1Г11 о1голголГОЛ1О 'ГОЛ1О '
Упражнение 2.3.1. Установить, будут или нет
Упражнение 2.3.1. Установить, будут или нет
линейно независимыми еле-
линейно независимыми еле-
дующие векторы: Г]'
■1
0
L0_
дующие векторы: Г]'
■1
0
L0_
Г11 о
1
Г11 о
1
гол
гол
ГОЛ1
О '
ГОЛ1
О '
Упражнение 2.3.2. Установить, будут линейно зависимы или линейно независимы строки матрицы А из примера 5, столбцы которой линейно зависимы.
Упражнение 2.3.3. Доказать, чтоУпражнение 2.3.3. Доказать, чтомент матрицымент матрицыесли хотя бы один диагональный эле-если хотя бы один диагональный эле-Т =Т ="аО1-0"аО1-06 с~ d е о L6 с~ d е о Lравен нулю, то строки этой матрицы линейно зависимы.равен нулю, то строки этой матрицы линейно зависимы.
Упражнение 2.3.3. Доказать, что
Упражнение 2.3.3. Доказать, что
мент матрицы
мент матрицы
если хотя бы один диагональный эле-
если хотя бы один диагональный эле-
Т =
Т =
"а
О
1-0
"а
О
1-0
6 с~ d е о L
6 с~ d е о L
равен нулю, то строки этой матрицы линейно зависимы.
равен нулю, то строки этой матрицы линейно зависимы.
Упражнение 2.3.4. Верно ли утверждение, что если векторы vt, иг, о3 линейно независимы, то векторы Ю|=О| + о2, ffii2 = u1 + v3, Юз = о2+Уз также линейно независимы? (Указание: предположить, что С|К',-]-с2^|.2 + с.чШз = 0, и найти все возможные коэффициенты съ с2, с3.)
Следующий шаг в обсуждении векторных пространств—определить, что мы понимаем под множеством векторов, порождающим данное векторное пространство. Д^ы использовали этот термин в начале главы, когда говорили о плоскости, которая являлась линейной оболочкой двух столбцов матрицы, и назвали эту плоскость пространством столбцов. Общее определение таково:
’ 2Н. Если векторное пространство V состоит из всех линейных ] комбинаций векторов wv ..., w{, то говорят, что эти векторы : порождают векторное пространство V, а само V называют ; линейной оболочкой этих векторов. Другими словами, каж- I дый вектор и из V может быть представлен в виде линейной ' комбинации векторов tyn ..., wt,
i1; = ^^ + ...+czie>z(8)
। с некоторыми коэффициента лги. c{.
Такое определение допускает, что для вектора и может существовать несколько наборов коэффициентов сь т. е. коэффициенты не обязательно единственны, так как порождающее множество векторов может быть слишком большим и даже содержать нулевой вектор.
Пример 6. Векторы ^ = ( 1, 0, 0), ьу2 = (0, 1, 0), ю3-=(—2, 0, 0) порождают плоскость ху в трехмерном пространстве. Ту же плоскость порождают первые два вектора, тогда как векторы ш, и wa порождают только прямую.
Пример 7. Пространство столбцов некоторой матрицы Л размера тх п является линейной оболочкой столбцов этой матрицы. Оно служит подпространством m-мерного пространства Rm (конечно, оно может совпадать с R”). Пространство строк матрицы А определяется аналогичным образом. Это подпространство пространства R", порождаемое строками матрицы А (мы можем считать строки элементами из R", несмотря на то что компоненты записаны горизонтально, а не в виде столбца). Если т=п, то как пространство строк, так и пространство столбцов будут подпространствами пространства R" и могут даже совпадать.
Пример 8. Координатные векторы е, =(1, 0, ..., 0), ..., е„ = = (0, ..., О, 1) порождают пространство R". Для доказательства достаточно показать, как любой вектор x=(x(, х.г, ..., хп) может быть записан в виде линейной комбинации векторов eb i=lп.
Очевидно, что искомыми весами будут сами компоненты xh i= 1, ..., п, т. е.
х = ха + х2ег + ... + xneR.
В данном примере мы, кроме этого, знаем, что множество векторов ev ..., е„ является линейно независимым, т. е., грубо говоря, ни один вектор этего множества не является лишним. Матрица в примере (5) имеет лишние столбцы, не вносящие ничего нового в пространство столбцов, а здесь порождающее множество векторов имеет минимальный размер. Иначе говоря, если какой- либо вектор et будет удален, оставшиеся векторы не будут порождать все R". Такое множество векторов называют базисом:
Базисом векторного пространства называют множество векторов, обладающее следующими свойствами-.
Оно линейно независимо.
Оно порождает это векторное пространство.
Сочетание этих двух свойств является основополагающим для теории векторных пространств. Они означают, что каждый вектор у из данного векторного пространства может быть разложен единственным образом в линейную комбинацию базисных векторов, v =оа + •. • +<W (Такое разложение существует, потому что векторное пространство порождается своим базисом; если же имеется еще одно разложение с=Ьа +• • • 4-^6. то, вычитая второе разложение из первого, получим 0=2 бщ — Ь^Щ, откуда в силу линейной независимости векторов ylt ..., vk имеем а{—Ь,=0, i=l, ..., к. Следовательно, веса в разложении вектора и по базисным векторам oi однозначно определяются вектором и.)
Пример 9. Рассмотрим обычную плоскость ху (рис. 2.3). Вектор Uj сам по себе линейно независим, но не порождает R2. Три вектора щ, щ, v3, конечно, порождают R2, но не являются линейно независимыми. Любые два из этих векторов, скажем щ и иа, обладают обоими свойствами—они порождают R2 и линейно независимы—и поэтому образуют базис в R2. Отметим, что базис векторного пространства не единствен.
Пример 10. Рассмотрим ступенчатую матрицу U, соответствующую матрице Л из примера 2:
"1 3 3 2"U= 0 0 3 1 .О 0 0 0.
Рис. 2.3. Порождающее множество и базис в R2.
Четыре ее столбца, как всегда, порождают пространство столбцов, но не являются линейно независимыми. Существует много способов выбора базиса в этом пространстве, но мы предпочитаем выбирать его специальным образом: столбцы, содержащие ведущие элементы (в данном случае первый и третий, соответствующие базисным переменным), составляют базис пространства столбцов. Мы отмечали в утверждении 2F, что эти столбцы линейно независимы, но легко видеть, что они, кроме того, порождают пространство столбцов. В действительности пространство столбцов матрицы U является ху-плоскостью в R3. Заметим также, что первые две строки матрицы U (и вообще ненулевые строки любой ступенчатой матрицы) образуют базис ее пространства строк.
пло-пло-2626Упражнение 2.3.5. Описать словами или изобразить графически в скости ху пространство столбцов и пространство строк матрицы Д = Найти базис пространства столбцов.
пло-
пло-
2
6
2
6
Упражнение 2.3.6. Указав ведущие элементы, найти базис пространства столбцов матрицы
ГО143“1
_ 002— 2
и= ООоо '
_0000_|
Выразить каждый столбец, не вошедший в базис, в виде линейной комбинации базисных столбцов. Найти также базис пространства строк.
Упражнение 2.3.7. Предположим, что мы представляем себе все матрицы порядка 2x2 как «векторы». Хотя эти матрицы не являются векторами в обычном смысле, но мы определили правила сложения матриц и умножения
матриц на скаляр, и множество матриц замкнуто относительно этих операций. Найти базис в этом векторном пространстве. Какое подпространство порождается множеством всех ступенчатых матриц U?
Упражнение 2.3.8. Найти два различных базиса в подпространстве всех векторов из R3, имеющих равные первые две компоненты. ■
Упражнение 2.3.9. Найти контрпример к следующему утверждению: если v4, ..., о4 составляют базис векторного пространства R4 и если IF— подпространство этого пространства, то некоторое подмножество этих базисных векторов будет образовывать базис подпространства IF.
Несмотря на тот факт, что выбор базиса не единствен, так как его построение может быть осуществлено бесконечно многими способами, существует нечто общее для всех базисов. Это свойство является внутренним свойством самого пространства:
2J. Любые два базиса векторного пространства V содержат одинаковое число векторов. Это число, фигурирующее во всех базисах и выражающее число «степеней свободы» пространства, называется размерностью пространства V.
Конечно, мы должны доказать, что все возможные базисы содержат одно и то же число векторов. Прежде всего мы вернемся к некоторым из рассмотренных примеров и установим размерности соответствующих пространств. Каждый базис плоскости ху на рис. 2.3 содержит два вектора, и размерность этой плоскости равна двум. В общем случае размерность пространства R" равна п, причем координатные векторы е;, i= 1, .. ., п, образуют удобный базис этого пространства. Пространство строк матрицы 0 в примере 10 является двумерным подпространством пространства R4, а ее пространство столбцов является двумерным подпространством пространства R3. Нулевая матрица А—это исключительный случай, поскольку как пространство ее столбцов, так и пространство ее строк состоит только из одного нулевого вектора пространств R® и R" соответственно. Мы будем считать, что базисом такого пространства является пустое множество и что его размерность равна нулю.
Сформулируем и докажем теперь теорему, которая эквивалентна утверждению 2 J:
I 2 К. Пусть vlt .. ., vm и w4шп — два базиса одного и того I же векторного пространства V. Тогда т = п. .
Доказательство. Предположим, например, что т < п, и постараемся прийти к противоречию. Так как векторы уп ... ..., ит образуют базис, то они должны порождать все пространство V и, следовательно, каждый вектор Шу, /=1, ...,п, может быть записан в виде линейной комбинации векторов и,,
i = 1, ..., т,
т
^у = ^А + • • • + ат/ит = 2 Qi^н
Правда, мы не можем определить веса a,-/t но тем не менее можем рассмотреть линейные комбинации векторов Wy:
W + ... + c„wn = 2 с;.W + ... + c„wn = 2 с;.5 QijUi5 QijUi(9)(9)
W + ... + c„wn = 2 с;.
W + ... + c„wn = 2 с;.
5 QijUi
5 QijUi
(9)
(9)
Это изменение порядка суммирования соответствует другому способу сложения всех элементов матрицы— мы можем сначала суммировать вдоль каждой строки и сложить затем вместе эти подсуммы или же сначала суммировать вдоль каждого столбца.
Рассмотрим теперь уравнения ^ацСу = 0 для t= 1, ...,т. Это система т однородных уравнений с п неизвестными, причем т < п. Следовательно, она имеет решение c = (q, .. ., с„), отличное от тривиального решения с = 0. Подставляя ’^aiyCy=Q в (9), получаем для этих весов cv ..., сп равенство
W + • • • +^„ = 0.
Отсюда следует, что векторы Wy, j=\, ..., п, линейно зависимы. Однако это противоречит предположению о том, что они образуют базис, и мы должны откинуть возможность неравенства т < п.
Приведенное доказательство аналогично использованному на стр. 80 для доказательства того факта, что каждое множество из m + 1 векторов пространства К™ должно быть линейно зависимым. Фактически мы пришли к следующему общему результату: в подпространстве размерности к ни одно множество векторов, состоящее более чем из к векторов, не может быть линейно независимым, и ни одно множество, состоящее менее чем из к векторов, не может порождать все пространство.
Имеются и другие «двойственные» утверждения, из которых мы приведем только одно. Оно позволяет нам начинать поиск базиса пространства с любого множества векторов, либо слишком маленького, либо слишком большого.
2L. Любое линейно независимое множество векторов векторного пространства V может быть дополнено до базиса путем добавления новых векторов, если это необходимо.
Любое порождающее множество векторов векторного пространства V может быть превращено в базис путем отбрасывания некоторых векторов этого множества, если это необходимо.
Упражнение 2.3.10. Предположим, что векторы х, у и г из R3 удовлетворяют уравнению х—|-у-|-z = 0. Подпространства каких размерностей они могут образовать? Проиллюстрировать каждую возможность отдельным примером.
Упражнение 2.3.11Упражнение 2.3.11. Для матрицы Л = ^. Для матрицы Л = ^1 2 Г0 0 41 2 Г0 0 4расширить множестворасширить множествострок до базиса в R3 и выделить в множестве столбцов базис пространства R2.строк до базиса в R3 и выделить в множестве столбцов базис пространства R2.
Упражнение 2.3.11
Упражнение 2.3.11
. Для матрицы Л = ^
. Для матрицы Л = ^
1 2 Г
0 0 4
1 2 Г
0 0 4
расширить множество
расширить множество
строк до базиса в R3 и выделить в множестве столбцов базис пространства R2.
строк до базиса в R3 и выделить в множестве столбцов базис пространства R2.
Упражнение 2.3.12. Предположим, что пространство У имеет размерность к. Доказать, используя, например, теорему 2L, что
любые к линейно независимых векторов образуют базис в пространстве V; .
любые к векторов, порождающие пространство У, образуют базис этого пространства.
Иначе говоря, требуется доказать, что если число векторов, равно размерности пространства, то одно из свойств базиса является следствием другого.
Упражнение 2.3.13. Найти размерность пространства симметрических матриц размера 3X3 и определить его базис.
Упражнение 2.3.14. Доказать, что если У и W—трехмерные подпространства пространства R5, то У и 1У должны иметь общий ненулевой вектор. Указание: начать с рассмотрения базисов этих двух подпространств, которые вместе содержат 6 элементов.
Сделаем одно последнее замечание о языке линейной алгебры. Мы нигде не использовали выражений «базис матрицы», «ранг пространства строк» или «размерность базиса». Они не имеют смысла. Есть размерность пространства строк матрицы, и она совпадает с рангом этой матрицы.
§ 2.4. ЧЕТЫРЕ ОСНОВНЫХ ПОДПРОСТРАНСТВА
В предыдущем параграфе мы имели дело скорее с определениями, чем с построениями. Мы знаем, что базис существует, но не знаем, как его найти. Теперь же, начиная с явного описания подпространства, мы будем стремиться вычислить его конкретный базис.
Обычно подпространства описывают одним из двух способов. Первый способ—это когда задается множество векторов, порождающих данное подпространство; так, например, обстояло дело с пространством строк или пространством столбцов, когда указывались порождающие строки или столбцы. Второй способ заключается в задании перечня ограничений на подпространство, т. е. когда указывают не векторы, порождающие это подпространство, а ограничения, которым должны удовлетворять векторы этого подпространства. Нуль-пространство, например, состоит из всех векторов, удовлетворяющих системе Ах=0, и каждое уравнение этой системы представляет собой такое ограничение. При описании подпространства первым способом могут оказаться лишними некоторые строки или столбцы, а при втором—некоторые ограничения. В обоих случаях, для того чтобы можно было выписать базис, необходим некоторый систематический подход.
Читатель может догадаться, что это за подход. А именно, мы покажем, как использовать матрицы L и U (и Р), которые возникают в процессе исключения, чтобы найти базис каждого из подпространств, связанных с матрицей А. Затем, хотя это и сделает настоящий раздел длиннее других, мы рассмотрим два экстремальных случая:
когда ранг очень мал (г = 1), пространства строк и столбцов особенно просты;
(и) когда ранг очень велик ^г = п, г = т или г = т = п\ матрица А имеет либо обратную слева матрицу В, либо обратную справа матрицу С, либо обычную обратную А-1.
Чтобы обсудить вопрос всесторонне, рассмотрим последовательно каждое из четырех основных подпространств. При этом, поскольку легче всего находятся подпространства, связанные с матрицей U, нашей основной задачей будет установление их связи с подпространствами для исходной матрицы А.
Пространство строк матрицы А. После применения метода исключения к матрице А мы получаем ступенчатую матрицу U. Пространство строк матрицы U очевидно: его размерность равна рангу г, а базис—это ее г ненулевых строк. К счастью, его столь же легко связать с матрицей А.
2М. Пространство строк матрицы А имеет ту же самую размерность г, что и пространство строк матрицы U, и тот же самый базис, поскольку эти два пространства строк совпадают.
Это так, поскольку каждая элементарная операция оставляет неизменным пространство строк. Каждая строка в новой матрице U является линейной комбинацией строк исходной матрицы А, и потому новое пространство строк содержится в старом, а так как каждый шаг исключения может быть обращен с помощью другой элементарной операции, то старое пространство строк также содержится в новом.
Заметим, что мы не начинали с т строк матрицы А, которые порождают ее пространство строк, и не исключали т—г из них для построения базиса, хотя, согласно 2L, мы могли бы поступить так. Но решить, какие строки нужно оставить, а какие исключить, бывает трудно, поэтому оказывается гораздо легче брать ненулевые строки матрицы U.
Приведенные рассуждения, кроме того, оправдывают данное ранее определение ранга матрицы А. Тогда мы брали г равным числу ненулевых ведущих элементов (или ненулевых строк) матрицы U, не рассматривая все различные ступенчатые матрицы, которые могут быть получены при различных последовательностях
шагов исключения. Теперь же мы знаем, что все базисы имеют одно и то же число членов. Следовательно, ранг г матрицы А может быть определен по-новому: рангом матрицы А является размерность ее пространства строк..
Нуль-пространство матрицы А. Напомним, что первоначальной целью исключения было упрощение системы линейных уравнений без изменения совокупности решений. Система Ах = 0 редуцировалась к системе Ux = O, и этот процесс обратим. Следовательно, нуль-пространство матрицы А совпадает с нуль-про- странством матрицы IL Среди т ограничений, налагаемых т уравнениями Ах = 0, только г линейно независимы. Они выражаются любыми г линейно независимыми строками матрицы А, или г ненулевыми строками матрицы U. Если мы воспользуемся последним замечанием, получим вполне определенный способ нахождения базиса нуль-пространства.
2N. Нуль-пространство матрицы А (которое мы обозначим через 9t(/l)) имеет размерность п—г. Его базис можно построить путем сведения системы уравнений Ах = 0 к эквивалентной системе Ux = 0, которая имеет п—г свободных переменных, соответствующих столбцам, матрицы U, не содержащим ведущих элементов. Присваивая по очереди каждой свободной переменной значение 1, а остальным свободным переменным значения 0 и разрешая систему Ux = Q с помощью обратной подстановки относительно оставшихся (базисных) переменных, мы получил! п—г векторов, составляющих базис пространства ^(А). ‘
переменными были опеременными были о11В нашем примере (стр. 71) свободными и у, а базис образовывали векторы
переменными были о
переменными были о
1
1
и = 0, у — 1.
Легко видеть (как в примере, так и в общем случае), что векторы X; должны быть линейно независимыми. Действительно, любая линейная комбинация с^у А-сгх% имеет значение сг на месте v-компоненты и значение сг на месте ^-компоненты. Следовательно, существует только одна возможность получить равенство с,хх + + с2х8 = 0—это положить сг = сг = 0. Эти два вектора порождают нуль-пространство. Общее решение системы Ах = 0 записывается в виде линейной комбинации иХу-\-ух4. Таким образом, п—г = &4 — 2 — 2 вектора х; образуют базис.
Нуль-пространство матрицы А называется также ядром этой матрицы А, а его размерность называется дефектом матрицы.
Обозначая дефект матрицы А символом т(Л), запишем соотношение, устанавливающее взаимосвязь дефекта и ранга
у(Л) = й1ш91(Л) = п—г.
Эту формулу необходимо запомнить.
Пространство столбцов матрицы Л. Пространство столбцов матрицы А часто называют образом этой матрицы и обозначают символом 91 (Л). Это согласуется с обычным определением образа функции / как множества всех возможных значений / (х). Если определена некоторая функция / (х), то х принадлежит области определения этой функции, а значение f (х) принадлежит образу. В нашем случае (с векторами) в качестве функции /(х) можно взять /(х) = Лх. Ее область определения состоит из всех векторов х £ R", а образ состоит из всех векторов Ах (другими словами, из всех векторов Ь, для которых разрешима система Ax=bY Мы знаем, что это множество совпадает со всеми линейными комбинациями вектор-столбцов матрицы А, т. е. образ матрицы — это то же самое, что и ее пространство столбцов. Мы хотим сохранить удобный термин «пространство столбцов», но позаимствовать и краткое обозначение 91(Л).
Наша задача — найти базис подпространства 91 (Л) и его размерность. Одна разумная идея заключается в следующем: сделать столбцы матрицы А строками новой матрицы, и тогда мы вновь будем иметь дело с пространством строк. Обозначим новую матрицу через АТ и будем называть ее транспонированной матрицей к матрице А. Так как столбцы матрицы А являются строками матрицы Лт, то последняя будет прямоугольной матрицей размера пхт. Каждый элемент матрицы А при транспонировании переносится в новую позицию, симметричную первоначальной позиции относительно главной диагонали, т. е. (Лт)/у = А^. В то же время строки матрицы А становятся столбцами матрицы А, и отсюда вытекает полезное замечание: пространство строк матрицы А совпадает с пространством столбцов матрицы Лт, т. е. с 91 (Лт). Это особенно полезно, потому что 91 (Лт) порождается вектор-столбцами (столбцы матрицы Лт являются строками матрицы А, записанными вертикально), и поэтому теперь даже понятие пространства строк отвечает соглашению о том, что векторы должны записываться вертикально.
Конечно, мы можем привести матрицу Лт к ступенчатому виду и таким образом изучать пространство столбцов матрицы Л. Однако мы хотим не этого. Введение транспонированной матрицы полезно с многих точек зрения, но не с этой. Мы хотим избежать введения новой величины, ранга матрицы Лт, и приведения
матрицы Дт к матрице ступенчатого вида. Причем, если это возможно, мы предпочли бы вычислить размерность пространства столбцов через исходные числа т, п и г.
Необходимо отметить, что пространство столбцов матрицы А не совпадает с пространством столбцов матрицы U. Элементар
ные операции оставляют неизменными пространство строк и нуль- пространство матрицы А, а пространство столбцов совершенно изменяется; сравните, например, столбцы матриц
ии“1 3 3 2“U = 0 0 3 1 _о о о о“1 3 3 2“U = 0 0 3 1 _о о о о‘.1332“
и
и
“1 3 3 2“
U = 0 0 3 1 _о о о о
“1 3 3 2“
U = 0 0 3 1 _о о о о
А =2695
1—330
Тем не менее всякий раз, когда некоторые столбцы матрицы U образуют базис в пространстве столбцов матрицы U, соответствующие столбцы матрицы А образуют базис в пространстве столбцов матрицы А. Объясним, почему это так: дело в том, что Ах = 0 тогда и только тогда, когда Ux=0. Две эти системы эквивалентны и имеют одно и то же множество решений. Вспоминая правило умножения матрицы на вектор, видим, что равенство Ах = 0 выражает линейную зависимость между столбцами матрицы А, с компонентами вектора х в качестве весов. Поэтому каждая такая зависимость эквивалентна линейной зависимости Ux = 0 между столбцами матрицы U с теми же самыми весами. Следовательно, если некоторое множество столбцов матрицы А линейно независимо, то соответствующие столбцы матрицы U также линейно независимы и наоборот1). В обеих матрицах А и U последний столбец равен сумме первого и умноженного на 1/3 третьего столбцов, а второй столбец равен утроенному первому.
Теперь, чтобы найти базис пространства 91 (Д), мы должны решить более простую задачу нахождения базиса пространства столбцов матрицы U. Это уже было сделано (стр. 79), и вывод был таков: г столбцов матрицы U, содержащие ненулевые ведущие элементы, образуют базис пространства столбцов матрицы U. Мы преобразуем этот результат применительно к матрице А:
20. Размерность пространства столбцов 91 (Д) равна рангу г, который также равен размерности пространства строк, т. е. число линейно независимых столбцов равно числу • линейно независимых строк. Базис пространства 91 (Д) образуется теми г столбцами, которые соответствуют столбцам матрицы U с ненулевыми ведущими элементами.
В Я думаю, что это наиболее тонкое из доказательств, появляющихся до сих пор в книге. К счастью, оно не бесполезно: заключение 20, к которому оно приводит, является также наиболее тонким и наиболее важным среди всех, которые были сделаны до сих пор.
Тот факт, что пространство строк и пространство столбцов имеют одинаковую размерность г, является одной из наиболее важных теорем линейной алгебры. Это часто записывают сокращенно в виде: ранг по строкам = ранг по столбцам. Эта фраза выражает результат, который, например, для матрицы размера Юх 12 совсем не очевиден.
Чтобы убедиться еще раз, что пространство столбцов матрицы U имеет размерность г, рассмотрим типичную ситуацию, когда ранг г равен 3. Ступенчатая матрица U имеет три линейно независимые строки:
’df * * * * *“
Й2 * * о о d$Й2 * * о о d$ООО_о о о о о оООО_о о о о о о
Й2 * * о о d$
Й2 * * о о d$
ООО
_о о о о о о
ООО
_о о о о о о
Мы утверждаем, что она также имеет только три линейно независимых столбца. Столбцы имеют только три ненулевые компоненты. Поэтому, если мы сможем показать, что три базисных столбца—первый, четвертый и шестой — линейно независимы, то они должны быть базисом (для пространства столбцов матрицы U, но не А!). Предположим, что некоторая линейная комбинация этих столбцов равна нулю:
Двигаясь снизу вверх, как обычно, получаем, что с$ = 0, потому что Aj^O; далее, с2 = 0, потому что с3 = 0 и d2 #= О, и, наконец, сх = 0. Это устанавливает линейную независимость базисных столбцов и завершает доказательство. Так как Ах = 0 тогда и только тогда, когда Ux = 0, мы заключаем, что первый, четвертый и шестой столбцы матрицы А—какой бы она ни была (мы ее в этом примере совсем не знаем)—образуют базис в пространстве 91(A).
Перейдем к четвертому основному подпространству, которое до сих пор оставалось вне нашего поля зрения. Так как первые три подпространства обозначались через 91 (Ат), 91(A) и 91(A), то нетрудно догадаться, что четвертое подпространство следует обозначить через 91 (Ат).
Нуль-пространство матрицы Дт. Нуль-пространство матрицы Дт является подпространством m-мерного пространства R”, состоящим из тех векторов у £ R”, для которых выполняется равенство А4 у — 0. Таким образом, линейная комбинация столбцов матрицы Дт с весами yv ..., ут должна равняться нулевому столбцу. Так как столбцы матрицы А1 являются строками матрицы А, то мы можем преобразовать систему АТу = 0 в уравнение для вектор-строк:
|'уМЧУ1 ... yJr 1=[0 ... 0].
А
L _
Такая вектор-строка уТ иногда называется левым нуль-вектором матрицы А. Линейная комбинация строк матрицы А с весами У1> • • • > Ут равна нулевой строке. Размерность подпространства 91 (Дт) найти легко. Для любой матрицы число базисных переменных плюс число свободных переменных равно числу столбцов этой матрицы. Другими словами,
ранг + дефект = размерность пространства столбцов+ + размерность нуль-пространства =
=число столбцов.(10)
Это правило применимо и к матрице Дт, имеющей т столбцов, которая ничем не хуже, чем матрица А. Но ранг по строкам равен рангу по столбцам, т. е. г и, следовательно, г-]-(Нт91(Дт) = т.(11)
2Р. Левое нуль-пространство 91 (Дт) имеет размерность т—г.
Для того чтобы найти базис пространства 91 (Дт), начнем с представления PA = LU или L~YPA = U. Последние т—г строк матрицы U нулевые, и, следовательно, последние т—г строк матрицы L~lP образуют базис левого нуль-пространства. Когда они умножаются на А, то получается нулевой вектор.
Теперь, когда мы знаем размерности всех четырех рассматриваемых подпространств, можно подвести итог. Не будет преувеличением назвать этот результат так:
Основная теорема линейной алгебры, часть 1.
91 (Дт)— пространство строк матрицы А; размерность г, 2. 91 (Д)—нуль-пространство матрицы А; размерность п—г, 3. 91 (Д)— пространство столбцов матрицы А; размерность г, 4. 91 (Дт)—левое нуль-пространство матрицы А; размерность т—г.
Упражнение 2.4.1. Верно ли такое утверждение: если т = п, то нуль- пространство матрицы Л равно ее левому нуль-пространству?
Упражнение 2.4.2. Найти размерность и построить базисы четырех подпространств, связанных с матрицей из примера 2.2.4:
. Г° 1 ^ 01л =.
0 2 8 0
Упражнение 2.4.3. Найти размерность и базисы четырех основных подпространств для матрицы
~1 2 0 1Н
Л= 0 1 10.
_1 2 0 1_
Упражнение 2.4.4. Описать четыре подпространства, связанные с матрицей 1 1 0 01 ,0 0 10
л =.
0 0 0 1
_о о о 0_
Упражнение 2.4.5. Показать, что если произведение двух матриц Л и В равно нулевой матрице (Л5 = 0), то пространство столбцов матрицы В содержится в нуль-пространстве матрицы А.
Упражнение 2.4.6. Объяснить, почему Ах = Ь тогда и только тогда, когда (ранг Л) = (ранг Л'), где матрица А' получена из матрицы А добавлением вектора b в качестве дополнительного столбца. Указание: ранг матрицы А равен размерности ее пространства столбцов, а система Ах=Ь разрешима тогда и только тогда, когда вектор 6 лежит в подпространстве Ж (Л).
МАТРИЦЫ РАНГА ОДИН
Одна из основных задач в математике — показать, как что- нибудь сложное может быть составлено из более простых частей. Мы уже рассмотрели один пример такого синтеза, когда нижняя треугольная матрица была разложена в произведение элементарных матриц. Теперь мы вернемся к рангу г как к новому критерию простоты и введем класс матриц ранга г = 1. Следующая матрица является типичной матрицей этого класса:
‘2111
422
‘Л==844 ‘
__2 -1
Каждая строка этой матрицы кратна первой строке, и потому пространство ее строк одномерно. На самом деле эту матрицу мы можем записать в виде произведения вектор-столбца и век.-
тор-строки:Л = Г 2тор-строки:Л = Г 24848L-2L-2124— 1124— 1П = ГП = Г2424П[2 1 1]. 2П[2 1 1]. 244-ij L-ij-ij L-ijПроизведение матрицы размера 4x1 на матрицу размера 1x3 будет матрицей размера 4x3. И эта матрица имеет ранг, равный единице. Заметим, что в то же самое время все столбцы этой матрицы кратны друг другу, т. е. пространство столбцов также имеет размерность, равную единице, и сводится к прямой.
тор-строки:
Л = Г 2
тор-строки:
Л = Г 2
4
8
4
8
L-2
L-2
1
2
4
— 1
1
2
4
— 1
П = Г
П = Г
2
4
2
4
П[2 1 1]. 2
П[2 1 1]. 2
4
4
-ij L-ij
-ij L-ij
То же самое происходит с любой другой матрицей ранга один: она может быть представлена в простейшей форме А = = иу1. Все строки этой матрицы кратны одному и тому же вектору ит, а все столбцы кратны вектору и.
В последнем параграфе мы покажем, как разложить любую матрицу ранга г в сумму
Упражнение 2.4.7. Пусть брать d, чтобы матрица
имела ранг, равный единице? ние шА.
г матриц ранга один.заданы числа а, b и с и а А 0. Как надо вы. ь"А =Iе ФВыбрав d, разложить матрицу А в произведе-г матриц ранга один.заданы числа а, b и с и а А 0. Как надо вы. ь"А =Iе ФВыбрав d, разложить матрицу А в произведе-ииВ=Г1 1 2'|3 3 бВ=Г1 1 2'|3 3 бУпражнение 2.4.8. Вычислить произведение АВ матриц
г матриц ранга один.
заданы числа а, b и с и а А 0. Как надо вы
. ь"
А =
Iе Ф
Выбрав d, разложить матрицу А в произведе-
г матриц ранга один.
заданы числа а, b и с и а А 0. Как надо вы
. ь"
А =
Iе Ф
Выбрав d, разложить матрицу А в произведе-
и
и
В=Г1 1 2'
|3 3 б
В=Г1 1 2'
|3 3 б
ранга один. Записывая А и В в виде шА и ®zT, проверить, что их произведение кратно матрице иг^ и что соответствующий множитель равен скалярному произведению Аы.
Упражнение 2.4.9. Для строк и нуль-пространство вУпражнение 2.4.9. Для строк и нуль-пространство впредыдущей матрицы А изобразить пространство плоскости ху.
Упражнение 2.4.9. Для строк и нуль-пространство в
Упражнение 2.4.9. Для строк и нуль-пространство в
СУЩЕСТВОВАНИЕ ОБРАТНЫХ МАТРИЦ
Мы уже знаем из § 1.5, что если матрица Л имеет левую обратную матрицу В (ВА = 7) и правую обратную матрицу С (АС = 1), то В = В(ЛС) = (ВЛ)С = С. Теперь с помощью понятия ранга матрицы можно легко установить, какие матрицы имеют обратные. Строго говоря, обратная матрица существует только тогда, когда ранг исходной матрицы имеет максимальное из возможных значений.
Ранг матрицы всегда удовлетворяет неравенствам г ^ m и г^.п, так как матрица размера тхп не может иметь более чем т линейно независимых столбцов. Мы хотим доказать, что если г = т, то существует правая обратная матрица, а если г = п, то существует левая обратная матрица. В первом случае система Дх = 6 всегда имеет решение, а во втором случае решение (если оно существует) единственно. Только для квадратной матрицы могут одновременно выполняться оба равенства г = т и г=п. Поэтому только для систем с квадратными матрицами могут одновременно выполняться как условие существования решения, так и условие единственности этого решения.
2Q. Существование: система Ах = Ь имеет по крайней мере одно решение х для каждого вектора b тогда и только тогда, когда столбцы матрицы А порождают все пространство R”, т. е. г = т. В этом случае существует правая обратная матрица С размера пхт, такая, что АС=1т—единичная матрица порядка т, причем это возможно только тогда, когда т<.п.
Единственность: система Ах = Ь имеет не более одного решения х для каждого вектора b тогда и только тогда, когда все столбцы матрицы А линейно независимы, т. е. г = п. В этом случае существует левая обратная матрица В размера пхт, такая, что В А = 1п—единичная матрица порядка п, причем это возможно только тогда, когда т^п.
В первом случае х = СЬ —это одно из возможных решений, так как Ах=АСЬ = Ь. Но могут быть и другие решения, если существуют другие правые обратные матрицы.
Во втором случае, если существует решение системы Ах = Ь, обязательно х = ВАх = ВЬ, и других решений быть не может1).
"4 О О'-О 5 0. ‘"4 О О'-О 5 0. ‘А =А =Пример. Рассмотрим простую матрицу размера 2x3 и ранга г 2
"4 О О'
-О 5 0. ‘
"4 О О'
-О 5 0. ‘
А =
А =
Так как г^т^Ч, то предыдущая теорема гарантирует существование правой обратной матрицы С:
АС = 4АС = 4000 0- гси5 0 с210 0- гси5 0 с210" ^22.0 ^ _0" ^22.0 ^ _
АС = 4
АС = 4
0
0
0 0- гси
5 0 с21
0 0- гси
5 0 с21
0" ^22.0 ^ _
0" ^22.0 ^ _
Lc3i
*) Число решений для случая «единственности» равно либо нулю, либо единице, в то время как для случая «существования»—либо единице, либо бесконечности.
В действительности здесь существует много правых обратных матриц, потому что последняя строка матрицы С совершенно произвольна. Это случай существования, но не единственности:
ОО
О
О
5
LC31 с32_
В качестве примера противоположной ситуации рассмотрим матрицу Лт, т. е. транспонированную матрицу к матрице Л. Матрица Лт будет иметь размер 3x2, а ее ранг по-прежнему будет равен двум, поэтому она будет иметь бесконечно много левых обратных
- ВЛТ = рп bi2 b13" ~4 СП = 1 0' .l^2i ^22 b23 0 50 1
|_0 0_
Теперь последний столбец матрицы В совершенно произволен. На самом деле это матрицы, транспонированные к найденным выше матрицам С.
Этот пример подсказывает общий способ построения матриц С и В и доказательства утверждения 2Q. Мы выделим два случая:
Существование. Пусть столбцы матрицы Л порождают все пространство R™. Тогда ранг матрицы Л (размерность ее пространства столбцов) равен т. Значит, каждый вектор Ь, включая координатные векторы ev ..., ет, может быть представлен в виде линейной комбинации столбцов матрицы Л. Другими словами, мы можем найти по крайней мере одно решение х( системы AXj = ej для каждого i=l, ..., m. Если С—матрица размера пхт, столбцами которой являются эти решения xv ... ..., хт, то в «постолбцовой» записи
ЛС = Л[х, .... е„] = /т.
Отсюда следует, что матрица С является искомой правой обратной для матрицы А.
Единственность. Пусть п столбцов матрицы А линейно независимы. Тогда ранг пространства столбцов равен п и нет свободных переменных, т. е. нуль-пространство содержит только нулевой вектор. Поэтому если существует некоторое решение системы Ах = Ь, то оно единственно. Простейший способ построения левой обратной матрицы заключается в рассмотрении матрицы Лт. Это будет матрица размера пхт, имеющая, согласно основной теореме, тот же самый ранг, что и матрица А, т. е. ранг г = п, где п теперь равно числу строк матрицы Лт.
Следовательно, к матрице Лт применима первая часть доказываемой теоремы, т. е. для Лт существует правая матрица, скажем матрица Q, такая, что ATQ=In. Транспонируя это равенство, получаем <УА= 1 п. Итак, QT—требуемая левая обратная матрица для матрицы В.
Есть более простой способ построения этих обратных матриц. Пусть
в=(ЛтЛ)-Мт и С=ЛТ(ЛЛТ)-1.
Очевидно, что ВА = 1 и ЛС = /, но не столь очевидно существование матриц (ЛТЛ)-Х и (ЛЛ7)-1. Здесь должны сыграть свою роль условия на пространство столбцов. Позже в 3G мы покажем, что матрица ЛТЛ обратима, когда ранг матрицы А равен п, а матрица ЛЛТ обратима, когда ранг матрицы А равен т.
Естественно представлять себе матрицу А как отображение из R" в R”: любой вектор х из R" преобразуется в некоторый вектор Ах из R“. Такое отображение линейно, поскольку из свойств умножения матриц следует, что А ^сх A-dy") = сАх A-dAy. Это очень важное свойство, и мы посвятим приложение А связи между линейными отображениями и матрицами. Когда выполнено условие существования, т. е. когда г=^т, это отображение называется отображением «на», потому что для каждого вектора b^R” существует по крайней мере один вектор x^R", такой, что Ах = Ь. Образом (пространством столбцов) является все Rm. В случае выполнения условия единственности, т. е. когда г = п, преобразование называется взаимно однозначным, потому что для каждого b существует не более одного такого вектора х С R", что Ах = Ь.
Нелинейный пример: функция у = хг из R1 в R1 не является отображением «на», потому что для числа у = — 4 не существует такого x^R1, что х2 =— 4, она не является также и взаимно однозначным отображением, потому что для числа у = 4 существуют два числа х =— 2 и х = — 2, таких, чтох2 = 4. Напротив, функция у = х^ является как отображением «на», так и взаимно однозначным отображением. В этом случае мы получаем взаимно однозначное соответствие между вещественными числами х и их кубами х3, или, в другую сторону, взаимно однозначное соответствие между вещественными числами у и кубическими корнями z/1/3 из них. Второе отображение является (двусторонним!) обратным к первому. Обратимые отображения — это именно взаимно однозначные соответствия; они являются одновременно взаимно однозначными отображениями и отображениями «на».
Прямоугольная матрица может обладать одним из указанных свойств и не обладать другим. Так же обстоит дело и с нелинейной функцией у(х); приведите соответствующие примеры в качестве упражнения. Для квадратных матриц ситуация со-
вершенно иная: если т = п, то матрица А обладает левой обратной тогда и только тогда, когда она обладает правой обратной, т. е. существование влечет за собой единственность, а единственность влечет за собой существование. Так как любая правая обратная матрица равна любой левой обратной, то существует лишь одна правая, она же левая, обратная, т. е. В = С=А~У. Условие обратимости таково: ранг матрицы А должен быть максимальным, т. е. г = т = п. Мы можем выразить это и другим способом: для того чтобы квадратная матрица А порядка п была невырожденной, необходимо и достаточно выполнение любого из следующих условий:
Столбцы матрицы А порождают все R", и, следовательно, система Ах = Ь имеет по крайней мере одно решение для каждого вектора Ь.
Столбцы матрицы А линейно независимы, и, следовательно, система Ах = 0 имеет только одно решение х = 0.
Этот список можно значительно удлинить, особенно если заглянуть в последующие главы. Каждое условие в этом списке эквивалентно любому другому и влечет за собой невырожденность матрицы А.
Строки матрицы А порождают все R".
Строки матрицы А линейно независимы.
Метод исключения Гаусса с перестановкой строк, если это необходимо, обходится без нулевых ведущих элементов: PA = LDU, где все d^O.
Существует матрица А-1, такая, что АА-1 = А-1 А = / Ч.
Определитель матрицы А отличен от нуля.
Нуль не является собственным значением матрицы А.
Матрица АТА положительно определена.
Матрица ЛЛТ положительно определена.
Приведем типичный пример применения изложенного выше. Рассмотрим все многочлены Р (О степени п—1. Существует только один такой многочлен, принимающий нулевые значения в п данных точках ^, . .., tn,— это Р(/)^0. Никакой другой многочлен степени п — 1 не может иметь п корней. Это утверждение о единственности, и оно влечет за собой утверждение о существовании: для любых данных значений bv ..., b„ существует многочлен степени п— 1, принимающий эти значения: Руг) = Ь{, (=1, ..., п. Заметим, что здесь мы имеем дело с квадратной матрицей, так как число коэффициентов в Р (О (которое равно п) равно числу уравнений. Действительно, если Р (/) = Х14-х2/+ ... +x„/n-1, то уравнения Р^() = Ьг мугут быть
' т) Это означает, что обратимость есть синоним невырожденности. Эти два термина применяются только к квадратным матрицам.
записаны в матэичном виде"1 Ц tX .1 ^ ^ •записаны в матэичном виде"1 Ц tX .1 ^ ^ •nvЬгnvЬг
записаны в мат
эичном виде
"1 Ц tX .
1 ^ ^ •
записаны в мат
эичном виде
"1 Ц tX .
1 ^ ^ •
nv
Ьг
nv
Ьг
L* tn tn • • • tn \_Xn_ \J)n_
Матрица коэффициентов Д имеет порядок п и известна как матрица Вандермонда. Напомним доказательство сформулированного выше утверждения. Так как система Ах = 0 имеет только нулевое решение х=0 (другими словами, Р^{) = 0, 1=1, ...,п, только тогда, когда Р = 0У то отсюда следует, что матрица А невырожденна. Поэтому система Ах = Ь всегда имеет решение — многочлен степени п — 1 может быть проведен через любые п значений Ь( в различных точках tt. Позже мы вычислим определитель этой матрицы, и он действительно будет отличен от нуля.
Имеется и еще один пример. Так как матрица А невырожденна, то невырожденной является и матрица АТ, потому что она имеет тот же самый ранг. Поэтому мы можем решить не только систему Ах = Ь, но также и систему Ату = с для всех векторов с. Последняя система возникает в совершенно иной ситуации. Предположим, что мы ищем формулу для приближенного численного
интегрирования вида
*п
V^dt^yifM
о1
Интеграл от функции / должен быть вычислен приближенно через свои значения Ц1^ в п различных точках Ц. Имея в распоряжении только п коэффициентов уь нельзя сделать эту формулу точной для всех функций f, но можно (и это делается практически) сделать ее точной для всех многочленов f = P степени не выше п— 1. Требуя точность формулы для /=1, / = = t, ..., f—t11-1, мы получаем систему
1
$ 1 dt = уг 4- ... АхУп* о 1
§ Z d/ = z/^ + • • • + У^п* о
1
^t-^dt^y^A-... -YUnta-1. О
Это в точности система с = АТу, которая, как было доказано, разрешима, и поэтому коэффициенты yb z = l, . .., п, можно найти. Такая формула интегрирования существует, потому что многочлены степени п — 1 имеют только п— 1 корней.
Упражнение 2.4.10. Построить нелинейную функцию у (%), которая является взаимно однозначным отображением, но не является отображением «на» и нелинейную функцию г (х), которая является отображением «на», но не является взаимно однозначной.
Упражнение 2.4.11. Объяснить, почему для системы с матрицей А условие существования выполнено тогда и только тогда, когда для системы с матрицей Лт выполнено условие единственности, и наоборот.
Упражнение 2.4.12. Построить все возможные левые и правые обратные матрицы для матрицы Л = [1 1 0] размера 1X3 и для матрицы Лт.
§ 2.5. ОРТОГОНАЛЬНОСТЬ ВЕКТОРОВИ ПОДПРОСТРАНСТВ
Мы начнем этот параграф с определения длины вектора. В двумерном случае эта длина ||х|| является длиной гипотенузы прямоугольного треугольника (рис. 2.4а), которая была вычис-
Рис. 2.4. Длина двумерных и трехмерных векторов.Рис. 2.4. Длина двумерных и трехмерных векторов.(М,^)(М,^)
Рис. 2.4. Длина двумерных и трехмерных векторов.
Рис. 2.4. Длина двумерных и трехмерных векторов.
(М,^)
(М,^)
лена много лет назад Пифагором1): |jx ||2 = х2 -фх|. В трехмерном пространстве вектор х = (хп х2, х3) является диагональю параллелепипеда (рис. 2.46), и его длина находится с помощью двух применений формулы Пифагора. Сначала рассматривается диагональ OA = (xv х2, 0) в основании параллелепипеда, где по формуле Пифагора OA2 = xt4-xL Эта диагональ образует прямой угол с вертикальной стороной (0, 0, х3). Поэтому мы можем вновь воспользоваться формулой Пифагора (в плоскости ОА и АВ\
х) Или, возможно, египтянами, но настоящее доказательство принадлежит пифагорейцам.
Гипотенуза прямоугольного треугольника О АВ имеет длину [|xjj.
равную ]/^ОД24-Л52равную ]/^ОД24-Л52т. е.т. е.
равную ]/^ОД24-Л52
равную ]/^ОД24-Л52
т. е.
т. е.
|| х ||2 = О А2 + АВ1 = хНхН xt
Обобщение понятия длины для «-мерного вектора x = (xf, ,. .,х„) очевидно. Длиной )|х|| вектора х из R4 называется положительный квадратный корень из суммы квадратов его компонент, т. е.
|| х || — V хХ + х2 + . . ■ + х2 .U 2)
Геометрическое доказательство этого факта состоит в применении формулы Пифагора п— 1 раз, добавляя каждый раз по одной компоненте. В случае размерности единица («= 1) длина вектора равна абсолютной величине единственной компоненты xv
Предположим, что заданы два вектора х и у (рис. 2.5). Каким образом можно определить, будут ли эти векторы перпендику
лярными? Иначе говоря, что является критерием ортогональности? В случае двумерной плоскости ответ на этот вопрос может быть дан с помощью тригонометрии. Нам же нужно обобщение на «-мерный случай, но и тогда мы можем действовать в плоскости, порождаемой векторами х и у. На этой плоскости вектор х ортогонален к вектору у, если они образуют прямоугольный треугольник, и, следовательно, мы можем использовать в качестве критерия формулу Пифагора
(13)(13)k II2 + II у II2=II х-у ||2.
(13)
(13)
Используя это условие совместно с формулой (12), получаем, что (%1 + . . . + Х^) + (У1 + • • • + Уп) = (М— У1)2+ • • • + Vxn— УгУ-
Правая часть последнего равенства в точности равна выражению
Vxi + • • • + хп) —2 (хгуг + ... + хпуп) + (у2 + • • • + УпУ
Поэтому условие (13) выполняется, а значит, векторы х и у ортогональны, когда сумма перекрестных членов» равна нулю, т. е.
Х1У1 + • • • + хпУп = °-(14)
Заметим, что эта величина в точности совпадает с произведением вектор-строки хт на вектор-столбец у (как матриц):
x'Ty = Vxi - --ХпА ^Г^хйк-У- • • +хпУп- (15)
VUn_
Используя сокращенное обозначение для суммы, правую часть (15) можно записать как ^х^. Это выражение появляется при обсуждении любого вопроса, связанного с геометрией «-мерного пространства. Оно называется скалярным произведением двух векторов и обозначается символом (х, у) или х-у, но мы предпочитаем сохранить обозначение х^у.
2R. Величина хЛу является скалярным произведением векторов (столбцов) х и у из R". Она равна нулю тогда и только тогда, когда векторы х и у ортогональны.
Отметим, что понятия длины и скалярного произведения связаны между собой следующим образом: xTx = Xi + . . . + х„ = [| х ||а. Существует только один вектор длины нуль, другими словами, только один вектор ортогонален сам себе—это нулевой вектор. Нулевой вектор ортогонален также каждому вектору y£Rn.
Упражнение 2.5.1. Найти длины и скалярное произведение векторов х=Ц1, 4, 0, 2)т и у = (2, —2, 1, 3)Т.
Мы показали, что векторы х и у ортогональны тогда и только тогда, когда их скалярное произведение равно нулю. В следующей главе скалярное произведение будет обсуждаться в большем объеме1). Там мы будем интересоваться и неортогональными векторами, так как скалярное произведение дает естественное опре
*) Точнее, мы будем рассматривать его под другим углом зрения.
деление косинуса в л-мерном пространстве и определяет угол между любыми двумя векторами. В этом параграфе, однако, основной целью по-прежнему остается изучение четырех основных подпространств, причем свойство, которое нас интересует — ортогональность.
Прежде всего, между линейной независимостью и ортогональностью существует простая связь: если ненулевые векторы uv ...,ик взаимно ортогональны (каждый вектор ортогонален любому другому), то они линейно независимы.
Доказательство. Предположим, что с^ + ... + сйиА = 0. Чтобы показать, что любой коэффициент с; должен равняться нулю, возьмем скалярное произведение обеих частей на вектор up уТ(с1у1+...+cfcuft) = yT0 = 0.(16)
Из взаимной ортогональности векторов и( следует, что в левой части (16) остается только один член: c{v1v{. Так как векторы и{ по предположению ненулевые, то иТи{#=0 и, следовательно, сг = 0. Таким образом, существует только одна линейная комбинация векторов и,-, i=l, ..., k, равная нулю,— это тривиальная комбинация со всеми с/ = 0. Поэтому векторы щ, ..., ик линейно независимы.
Наиболее важным примером взаимно ортогональных векторов является множество координатных векторов ev ..., еп в R". Они представляют собой столбцы единичной матрицы и составляют простейший базис пространства R". Кроме того, они являются единичными векторами, т. е. длина каждого вектора в;, i= 1, ..., и, равна единице, ||е;1| = 1. Геометрически эти векторы указывают направления координатных осей. Если систему векторов егеп повернуть, то мы получим новое ортонормированное множество векторов, т. е. новую систему взаимно ортогональных единичных векторов. В плоскости такое вращение дает ортонормированную пару векторов
u1 = (cos9, sin 9), у2 = (—sin9, cos 9).
Упражнение 2.5.2. Привести пример линейно независимых векторов из R2, не являющихся взаимно ортогональными, доказав тем самым, что утверждение, обратное предыдущей теореме, не верно. Привести также пример взаимно ортогональных векторов, которые не являются линейно независимыми, потому что нарушены условия теоремы.
Упражнение 2.5.3. Известно, что две прямые на плоскости перпендикулярны, когда произведение тангенсов углов их наклона равно —1. Применить это свойство к векторам х = (хг, х2) и y=(yi, у^), у которых тангенсы углов наклона соответственно равны x^ixx и у^у^, для того чтобы вновь вывести условие ортогональности хт// = 0.
Упражнение 2.5.4. Почему i-я строка матрицы В должна быть ортогональна /-му столбцу матрицы В~\ если I ^ р
УпражнениеУпражнение2.5.5. Какие пары из следующих трех векторов2.5.5. Какие пары из следующих трех векторовГ ПГ ПГ 11Г 11
Упражнение
Упражнение
2.5.5. Какие пары из следующих трех векторов
2.5.5. Какие пары из следующих трех векторов
Г П
Г П
Г 11
Г 11
ортогональны?
Упражнение 2.5.6. В R3 найти все векторы, ортогональные как к вектору (1, 1, 1), так и к вектору (1, —1,0), Построить, используя эти векторы, систему взаимно ортогональных единичных векторов (ортонормированную систему) в R3.
ОРТОГОНАЛЬНЫЕ ПОДПРОСТРАНСТВА
Перейдем далее к понятию ортогональности двух подпространств. В обычном трехмерном пространстве все подпространства исчерпываются прямыми и плоскостями, проходящими через начало координат, и двумя «экстремальными» подпространствами—подпространством, состоящим только из одного нулевого вектора, и всем пространствам R3. Подпространство {0} ортогонально ко всем подпространствам. Прямая может быть ортогональна как к другой прямой, так и к -плоскости, но плоскость не может быть ортогональна к плоскости), а все пространство R3 ортогонально только к нулевому подпространству {0}.
В «-мерном случае основное определение таково:
Два подпространства V и W одного и того же пространства R” называются ортогональными, если любой вектор u^V ортогонален любому вектору w^W, т. е. vrw = 0 для всех и ^V и w^W.
Пример. Предположим, что V является плоскостью, порожденной векторами у1 = (1,0, 0, 0) и у2 = (1, 1, 0, 0), a W—прямая, порожденная вектором ^ = (0, 0, 4, 5). Тогда, так как вектор шг ортогонален как к вектору ух, так и к вектору у2, прямая U7 будет ортогональна к плоскости V.
Упражнение 2.5.7. В предыдущем примере найти вектор ш4, такой, что плоскость W, порожденная векторами щх и щ2, ортогональна Плоскости V. Найти также и8, такой, что трехмерное подпространство, порожденное векторами vv v2, vs, ортогонально к исходной прямой W.
Упражнение 2.5.8. Показать, что если подпространства У и U7 ортогональны, то они имеют только один общий вектор, а именно нулевой вектор, т. е vn И? = {0}.
Объясним теперь, зачем нам понадобилась ортогональность подпространств. Напомним, что два из четырех основных подпространств, связанных с некоторой матрицей А, являются подпространствами пространства R"—нуль-пространство 91 (Д) и пространство строк .91 (Дт), а два других лежат в R“. Наиболее важный факт об этих пространствах, помимо их размерности,— это то, что они ортогональны:
1
2Т. Для любой матрицы размера тхп нуль-пространство 91 (Л) и пространство строк 91 (Дт) являются ортогональными подпространствами в R". Аналогично левое нуль-пространство 91 (Лт) и пространство столбцов 91 (Д) являются ортогональными подпространствами в R”.
Первое доказательство. Предположим, что w—произвольный вектор из нуль-пространства 91 (Д). Тогда Aw — 0, причем эта система т уравнений может быть записана более подробно:
(17)(17)Aw = ПСТрока 1
(17)
(17)
строка 2
_строка т_строка т
_строка т
_строка т
Первое уравнение означает, что вектор w ортогонален к первой строке матрицы А или, более правильно (сохраняя соглашение понимать под вектором вектор-столбец), к первому столбцу матрицы Дт. Второе уравнение утверждает ортогональность вектора w ко второму столбцу матрицы Дт. Продолжая аналогичные рассуждения, установим, что вектор w ортогонален к каждому столбцу матрицы Дт. Следовательно, он ортогонален ко всему пространству, порожденному этими столбцами, или, иначе говоря, к каждому вектору и из пространства столбцов матрицы Дт. Это верно для любого вектора w из нуль-пространства, и, следовательно, 91 (Д) | 91 (Дт). Второе утверждение в теореме об ортогональности 91 (Дт) | 91 (Д) совпадает с первым, если его применить к матрице Дт. (Первое утверждение было доказано для любых матриц, включая и транспонированную к любой заданной матрице Д.) С другой стороны, мы можем начать с любого вектора у из левого нуль-пространства, и, используя
соотношение
ц ц
" J
легко убедиться, что вектор у ортогонален ко всем столбцам матрицы А. Следовательно, он ортогонален к каждой линейной комбинации столбцов, т. е. любой вектор у ^91 (A1") ортогонален к каждому вектору ю€91(Д).
Второе доказательство. Мы хотим установить тот же самый результат с помощью рассуждений, не столь тесно связанных с координатами. Сравнение этих двух доказательств будет полезно читателю как пример «абстрактного» метода исследования в противовес «конкретному». Я надеюсь, что это доказательство яснее и лучше запоминается.
Предположим, что о>£Э1(Д), а и£31(Дт). Тогда Даа = 0, а вектор и имеет представление у = АТх для некоторого вектора х. (Иначе говоря, вектор о является линейной комбинацией столбцов матрицы Ат, а xv ..., хт—веса этой комбинации.) Следовательно,
ш^у = сут (Д тх) = (wT А т) х = (Дау)т х = 0тх = 0. (18)
Пример. Пусть А—матрица из примера 2.4.2:
0 1 4 0110 14 0
0 2 8 0= 0 0 0 0
Второй столбец является базисным, и потому вторая компонента является базисной, а три другие компоненты—свободными. Тогда если мы последовательно присвоим каждой свободной переменной значение, равное единице, и решим систему Ux=0, то мы найдем три вектора, образующие базис нуль-пространства матрицы А;
Все три перпендикулярны к строкам матрицы А, как это и гарантирует утверждение 2Т.
Пространство столбцов матрицы А одномерно (ранг по строкам равен рангу по столбцам) и порождается одним базисным столбцом 2 • С другой стороны, левое нуль-пространство находится с помощью такой комбинации строк матрицы А, при которой получается нулевая строка в матрице У: (—2) (строка 1)4- 4-(1)(строка 2) = 0. Следовательно, вектор ут = (—2, 1) лежит в левом нуль-пространстве и, как и утверждалось, ортогонален к пространству столбцов:
[-2[-21]ГГ21]ГГ2= 0.= 0.
[-2
[-2
1]ГГ
2
1]ГГ
2
= 0.
= 0.
Теперь я должен попросить вас потерпеть еще немного. Нуль- пространство, конечно, перпендикулярно к пространству строк. Но это еще не все: 9? (Л) содержит все ортогональные к пространству строк векторы. Оно состоит из всех решений системы Лх = 0.
2U. Определение. Пусть V—подпространство пространства R". Тогда пространство всех п-мерных векторов, ортогональных к подпространству V, называется ортогональным дополнением к V и обозначается символом У1.
Используя эту терминологию, нуль-пространство 9? (Л) можно назвать ортогональным дополнением к пространству Ж(ЛТ), т. е. 9? (Л) = (91 (ЛТ))Д. В то же время верно и противоположное утверждение: пространство строк содержит все ортогональные к нуль-пространству векторы. Это не столь очевидно из построения, поскольку, решая систему Лх = 0, мы начинали с пространства строк и находили все векторы х, ортогональные к нему. Теперь мы идем в противоположном направлении. Предположим, однако, что некоторый вектор z £ R” ортогонален к нуль-пространству, но не содержится в пространстве строк. Тогда, добавляя вектор г в качестве строки к матрице А, мы тем самым расширим пространство строк, не изменяя нуль-пространство. Но мы знаем, что существует неизменная формула: г + (п—г) = п или
dim (пространство строк) 4-dim (нуль-пространство) = число столбцов.
Так как последние два числа не изменяются при добавлении строки г, то и первое число также не может измениться. Поэтому каждый вектор, ортогональный к нуль-пространству, содержится в пространстве строк, т. е. 91(ЛТ) = (9?(Л))Д.
Те же рассуждения, примененные к матрице Дт, дают двойственный результат: левое нуль-пространство 92 (Лт) и пространство столбцов 92 (Д) являются ортогональными дополнениями друг к другу в Rm. Это завершает вторую половину основной теоремы линейной алгебры. Первая половина дает размерности четырех подпространств, включая тот факт, что ранг по строкам равен рангу по столбцам, а теперь мы знаем, что они не только перпендикулярны, но и являются ортогональными дополнениями ДРУГ друга.
2V. Основная теорема линейной алгебры, часть 2. 92(Д) = (92(ДТ))Д,92(ДТ) = (92(Д))Д,
92 (Дт) = (92(Д))1,Э2(Д) = (92(ДТ))Д.
Последнее равенство означает, что система Ах = Ь имеет решение тогда и только тогда, когда вектор b ортогонален к 92 (Дт), т. е. вектор b принадлежит пространству столбцов тогда и только тогда, когда он ортогонален к каждому решению системы А^у = 0.
Мы должны подчеркнуть, что два подпространства V и W могут быть ортогональными и не быть ортогональными дополнениями друг к другу. В трехмерном пространстве прямая V, порождаемая вектором (1,0, 0), ортогональна к прямой ТУ, порождаемой вектором (0, 0, 1), но V не совпадает с W-У Ортогональным дополнением к W является двумерное подпространство, содержащее все векторы вида (лу, х2, 0). Прямая V может быть только частью подпространства W-, потому что ее размерность меньше размерности W^. При соответствующих размерностях два ортогональных подпространства обязательно являются ортогональными дополнениями друг к другу, как было в случае пространства строк и нуль-пространства. С другой стороны, если W^V1, то это указывает, что соотношение между размерностями V и W правильное и автоматически означает, чтоУ=1171. Пространство будет просто разложено на две взаимно перпендикулярные части V и как на рис. 2.6.
Теорема, которая соответствует рис. 2.6, имеет следующую формулировку.
Если V и W —подпространства пространства R" и если выполнено хотя бы одно из перечисленных ниже условий, то V и W являются ортогональными дополнениями друг к другу:
Рис. 2.6. Ортогональное разложение пространства R3.
Если выполняется хотя бы одно из этих трех эквивалентных условий, то любой вектор х может быть разложен единственным образом в сумму x = u + w, где w ^.W, a ц£К Составляющие этого разложения являются проекциями вектора х на подпространства V и W и взаимно ортогональны, т. е. v^w^Q.
Разрешите подвести итог предыдущему и данному параграфам. Взятые вместе, они дают очень полную картину действия матрицы А. В предыдущем параграфе определяется размерность четырех основных подпространств (в частности, пространство строк Э1(АТ) и пространство столбцов 8*1 (А) имеют одинаковую размерность г). В данном параграфе определяется взаимное расположение этих четырех пространств: два из них являются ортогональными дополнениями друг к другу в R”, а два других —ортогональными дополнениями друг к другу в R”. Действие произвольной матрицы А иллюстрируется (очень схематично) на рис. 2.7. Произвольный вектор x£Rn разлагается в сумму х = хг + х„. Матрица А преобразует компоненту xrg8t(AT) в вектор Ахг= Ах, принадлежащий пространству столбцов матрицы А, в то время как компонента хп£Э?(А) преобразуется в нулевой вектор1).
2W. Отображение пространства строк в пространство столбцов невырожденно, т. е. обратимо; каждый вектор b из пространства столбцов является образом одного и только одного I вектора х, принадлежащего пространству строк.
х) Мы не знаем, как нарисовать два ортогональных подпространства размерности г и п— г. Если вы уже поняли смысл этих размерностей и понятия ортогональности, то рис. 2.7 не смутит вас.
Доказательство. Если вектор b принадлежит пространству столбцов, то он является некоторой комбинацией Ах столбцов матрицы А. Раскладывая вектор х в сумму хг + хп, где хгс91(Ат), а хп£91(А), получаем, что Ахг = Ахг + Ахп = Ах=Ь. Таким образом, мы нашли в пространстве строк подходящий вектор х,. Если бы там был другой вектор х'г, такой, что Ах'г = Ь, то А^х,—x7) = b—Ь = 0. Поэтому вектор хг—х'г принадлежит как пространству строк, так и нуль-пространству. Следовательно, он ортогонален сам себе и должен равняться нулевому вектору, т. е. X, = Хх.
Каждая матрица А обратима, если ее соответствующим образом воспринимать как отображение некоторого г-мерного подпространства на другое r-мерное подпространство, а именно 91 (Ат) на 91 (А). На ортогональном дополнении 91(A) матрица А действует как нулевая матрица. Точно так же матрица АТ является обратимым отображением в противоположном направлении, из 91(A) на 91 (Ат). Это не значит, что матрица Ат является обратной к А, просто для каждого у С 91 (Ат) существует один и только один элемент х£91(А), такой, что у^А^х. Фактически отображение Ат переводит вектор Ах в АтАх, в то время как обратное к А отображение или, в вырожденном случае, обсуждаемом в § 3.4, псевдообратное к А отображение переводит Ах обратно в х при хС91(Д).
Упражнение 2.5.9. Найти ортогональное дополнение к плоскости, порождаемой векторами (1, I, 2) и (1, 2, 3), выбирая их в качестве строк матрицы А и решая систему Лх = 0. Напомним, что это дополнение является прямой.
Упражнение 2.5.10. Построить однородное уравнение с тремя неизвестными, решениями которого являются линейные комбинации векторов (1, 1, 2)
и (1, 2, 3). Эта задача обратна к задаче из предыдущего упражнения, но, разумеется, на самом деле они совпадают.
Упражнение 2.5.11. Основная теорема линейной алгебры часто формулируется в виде альтернативы Фредгольма: для любых Д и Ь одна и только одна из следующих задач:-
Ах = Ъ, (2) АГу = О, уТЬ^О,
имеет решение. Иначе говоря, либо вектор b лежит в пространстве 91 (Д), либо существует такой вектор z/€9t(^T)> что У^Ь^О. Получить подходящий вектор у=Ъ^ можно, раскладывая вектор Ь в сумму 6=5г-|-Ьп, где 5^91 (Д),
Упражнение 2.5.12. Найти базис нуль-пространства матрицы
и проверить, что он ортогонален к пространству строк. Разложить вектор х=(3, 3, 3) в сумму х = хг4-хп двух векторов хг£$(Дт) и хп^ЭД(Д).
Упражнение 2.5.13. Показать, что ортогональное дополнение к V4-W равно пересечению ортогональных дополнений к V и W, т. е. (V+Wz)-L = = ^гп1^±.
Упражнение 2.5.14. Проиллюстрировать действие матрицы Дт рисунком, аналогичным рис. 2.7, направляя 91 (Д) обратно, в пространство строк 91 (Дт), а левое нуль-пространство —в нулевой вектор.
Рис. 2.8. Электрическая цепь с четырьмя вершинами и шестью ребрами.
МАТРИЦЫ ИНЦИДЕНТНОСТИ И ЗАКОНЫ КИРХГОФА
Для контура, изображенного на рис. 2.8, по которому течет постоянный ток, справедливы законы Кирхгофа:
В каждой вершине контура сумма входящих токов равна сумме выходящих токов. Например, в первой вершине /3 = I1+ /4.
Сумма падений напряжений вдоль любого замкнутого контура равна нулю. Если через Еь обозначить падение напряжения на ребре Ik в направлении, указанном стрелкой на рис. 2.8, то для замкнутого треугольника с вершинами 1—4—3 второй закон требует Е4 + Е6 + Е8 = 0.
Мы хотим выразить эти законы на языке матричной алгебры. Отметим, что они основываются только на «теории графов», т. е. зависят лишь от способа соединения вершин ребрами и от направлений стрелок, но не зависят от величин сопротивлений (или мощностей батарей) в контуре1). Связи между вершинами полностью описываются матрицей инцидентности графа этого контура, имеющей строку для каждой вершины и столбец для каждого ребра. В каждом столбце этой матрицы два ненулевых элемента 4-1 и —1 отмечают начальную и конечную вершины ребра. Матрица инцидентности, соответствующая рис. 2.8, имеет следующий вид:
г 10—1г 10—1100п01000—1100п01000—1вершина 1 вершина 2 вершина 3вершина 1 вершина 2 вершина 3
г 10—1
г 10—1
100п
010
00—1
100п
010
00—1
вершина 1 вершина 2 вершина 3
вершина 1 вершина 2 вершина 3
- 000 —1 —11-1 вершина 4.
Рассмотрим первую строку матрицы Л4, соответствующую первой вершине. В ней имеется один элемент, равный—1, соответствующий входящему ребру /3, и два элемента, равные 4-1, соответствующие выходящим ребрам 1г и 14. Вспоминая, что первый закон Кирхгофа дает /3 = /14-/4, запишем его сразу в матричном виде: если через I обозначен вектор-столбец, составленный из шести значений тока 14, ..., /в, то MI =0. Это система четырех уравнений с шестью неизвестными.
Чтобы записать в матричном виде второй закон, зафиксируем в первой вершине потенциал pv равный 0, и определим потенциалы Pi во всех остальных вершинах с помощью условия, что падение напряжения между вершинами i и / (если они соединены ребром в этом направлении) равняется разности потенциалов, т. е. Pi—pj. Второй закон утверждает, что суммарное падение напряжения вдоль замкнутого контура равно нулю, и, следовательно, мы вернемся опять к тому же самому значению потенциала, с которого начали. В терминах матрицы М вычисление падения напряжения pt—р; на некотором ребре соответствует
Другими словами, законы Кирхгофа являются «условиями равновесия», которые дополняются законом Ома E = IR.
умножению вектор-потенциала р на столбец матрицы М, соответствующий этому ребру, так как по построению этот столбец имеет компоненту +1, соответствующую вершине i, и —1, соответствующую вершине /. Другими словами, вектор падения напряжения Е равен вектору №р.
Теперь оба закона могут быть сформулированы очень коротко: вектор / принадлежит нуль-пространству матрицы М, а вектор Е принадлежит ее пространству строк. Так как эти два пространства ортогональны для любой матрицы М, то векторы Е и / должны быть перпендикулярны, т. е. ЕЧ = 0.
Пример. Предположим, что 20-вольтная батарея, подключенная к первому ребру, дает ток /Р Из соображений симметрии половина этого тока будет возвращаться через третью вершину, а половина — через четвертую, не проходя через шестое ребро, т. е. /в = 0. Если величина каждого из сопротивлений равна пяти (7? = 5), то можно проверить, что основной ток /1 = 2, а возвратные токи /2 = /8 = — /4 = /е = 1. (Замечание: стрелки были поставлены случайным образом только для того, чтобы зафиксировать направления вдоль каждого ребра, поэтому равенство /4 = — 1 означает, что ток течет по этому ребру в направлении, противоположном стрелке.) Эти токи дают падение напряжения E=1R=\GM в нижнем сопротивлении и по 5V в каждом из сопротивлений 2, 3, 4, 5, которые уравновешиваются 20-вольтной батареей. Таким образом, законы Кирхгофа соблюдаются и, следовательно, величины токов указаны правильно.
Упражнение 2.5.15. Найти падение напряжения на каждом ребре и потенциалы р2, рз, pit если Pi = 0. Проверить, что £'т/ = 0.
Упражнение 2.5.16. Нарисовать контур, соответствующий матрице инцидентности
■ 100—110"
-110001М- 0-110—1о ’
_ 00—110 — 1_
с 6-вольтовой батареей в ребре 1—3 и единичными сопротивлениями во всех ребрах. Каковы будут значения токов / и падений напряжения Е"?
§ 2.6. ПАРЫ ПОДПРОСТРАНСТВИ ПРОИЗВЕДЕНИЯ МАТРИЦ
Эта глава преследует единственную цель — изучение системы Ах = Ь. Каждое новое понятие и каждое определение, включая векторные пространства и линейную независимость, базис и раз-
мерность, ранг и дефект, скалярное произведение и ортогональность, были введены потому, что это требовалось для одной этой цели. Сейчас мы хотим вернуться к этим понятиям, чтобы установить между ними некоторые другие связи, которых мы вначале не отметили1).
Многие из них просты. Они возникают из рассмотрения не отдельного подпространства или отдельной матрицы, а взаимосвязей между двумя подпространствами или двумя различными матрицами. Вот первая из них:
I
2X. Если V и 1У—два подпространства некоторого векторного пространства, то их пересечение V П W также будет подпространством этого пространства.
Доказательство очевидно. Предположим, что х и х' принадлежат Vf) W, т. е. они принадлежат как V, так и W. Тогда, так как V и 1У—векторные пространства, хДх' и сх также принадлежат как V, так и 1У. Следовательно, операции сложения и умножения на скаляр не выводят за пределы пересечения. Геометрически это выглядит следующим образом: пересечение двух плоскостей, проходящих через начало координат (или «гиперплоскостей» в R”), также является подпространством. То же самое будет верно относительно пересечения нескольких подпространств и даже бесконечного множества подпространств.
Пример 1. Пересечение двух ортогональных подпространств V и W является нулевым подпространством {0}-.
Пример 2. Рассматривая множество матриц порядка п как векторное пространство, а подмножества верхних и нижних треугольных матриц как подпространства, легко убедиться, что их пересечение состоит из множества диагональных матриц порядка п. Это множество, несомненно, является подпространством, потому что сложение двух диагональных матриц или умножение диагональной матрицы на скаляр не выводит нас за пределы этого множества.
Пример 3. Предположим, что V — нуль-пространство матрицы Д. размера кхп и W—нуль-пространство матрицы В размера 1хп. Тогда V Q F—нуль-пространство матрицы
сформированной из к строк матрицы Д и I строк матрицы В.
Э Наиболее важные определения даются в 2Х и 2Y. Остаток этого параграфа развивает понятия, которые скорее относятся к теории, чем к приложениям, .
Доказательство. Вектор х принадлежит нуль-простран- ству матрицы С, т. е. Сх = 0, тогда и только тогда, когда Ах = 0 и Вх = 0.
Пример 4. Пусть у^, ..., уй—множество векторов из R". Рассмотрим все подпространства, содержащие это множество; R"—одно из таких подпространств (каждое векторное простран- 'ство является подпространством самого себя), но, очевидно, имеются и другие. Пересечение всех этих подпространств является наименьшим подпространством, содержащим данные векторы. Это подпространство, порожденное векторами уп ..., ик.
Обычно после того, как обсуждено и проиллюстрировано на примерах понятие пересечения двух множеств, естественно рассмотреть их объединение. Для векторных пространств это, однако, не естественно. Объединение У U IF двух подпространств, вообсце говоря, не будет подпространством. Рассмотрим, например, оси х и у на плоскости. Каждая ось сама по себе является подпространством, но их объединение не является подпространством, потому что сумма двух векторов (1, 0) и (0, 1) не принадлежит этим осям. Нетрудно видеть, что аналогичная ситуация будет всегда, исключая, разве что, случай, когда одно из подпространств содержится в другом. Только тогда их объединение (которое совпадает с большим подпространством) также будет подпространством.
Тем не менее мы хотим «скомбинировать» два подпространства и потому вместо их объединения рассмотрим их сумму.
2Y. Если V и IF—два подпространства данного пространства, то их сумма У + IF, определяемая как множество всевозможных комбинаций х = и + ®, где и —произвольный вектор из V, aw — произвольный вектор из IF, также будет подпространством этого пространства.
Это подпространство—не что иное, как подпространство, порожденное множеством V U IF, т. е. наименьшее векторное подпространство, содержащее как У, так и IF. Сумма осей х и у является всей плоскостью ху; сумма двумерной плоскости и прямой, не лежащей в этой плоскости, является трехмерным подпространством.
Пример 5. Предположим, что V и IF —ортогональные дополнения друг к другу в R". Тогда их сумма равна всему R", т. е. V-|-IF = R”; каждый вектор x£R" может быть разложен в сумму х = ХуА-х^у, где Ху С V, xw^W.
Пример 6. Если V— пространство верхних треугольных матриц, a IF —пространство нижних треугольных матриц, то У + IF —
пространство всех матриц. Каждая матрица может быть записана как сумма верхней треугольной и нижней треугольной матриц многими способами (можно разными способами разлагать диагональ).
Пример 7. Если V— пространство столбцов матрицы A, a W— пространство столбцов матрицы В, то У+ 11? — пространство столбцов расширенной матрицы 5 = [Л В]. Размерность пространства У + 1У может быть меньше, чем сумма размерностей пространств V и W (потому что два эти пространства могут перекрываться), но ее легко найти:
dim (V + U?) = ранг Q. (19)
Как ни странно, вычисление пространства V П W более сложно. Предположим, что нам заданы два базиса uv ..., ик и wv .. . ,wb и мы хотим получить базис пересечения двух подпространств. Конечно, для этого не достаточно проверить, будут ли какие- нибудь из векторов С; совпадать с какими-либо из ш{. Пространства У и В^ могут совпадать, а базисы при этом быть совершенно разными.
Наиболее эффективный метод таков: составим ту же самую матрицу Q, столбцами которой являются векторы и,, . .., ик, Шр . .., wb и вычислим нуль-пространство 92 (Q). Мы покажем, что базис этого подпространства позволяет построить базис подпространства У Л II? и что эти два пространства имеют одинаковую размерность:
dim (I? Л W) = dim 92 (Q). (20)
Это приводит к формуле, которая важна сама по себе. Складывая равенства (19) и (20), получаем
dim (V + И?) + dim (1? П И?) = г (Q) + v (Q),
где r(Q)—ранг, a v(Q)—дефект матрицы Q. Из предыдущих разделов мы знаем, что сумма ранга и дефекта любой матрицы равна числу столбцов этой матрицы. В данном случае матрица Q имеет .& + / столбцов, а так как ^=diml? и Z = dimH?, то мы приходим к следующему заключению:
J dim (У + II?)+ dim (У Л 1У) = dim У+ dim II?. (21)
Неплохая формула.
Пример 8. Каждое из пространств V и II? верхних и нижних треугольных матриц имеет размерность, равную п(п+1)/2. Пространство V + 11? — пространство всех матриц—имеет размерность п1, а пространство У Л И?— пространство диагональных матриц —
имеет размерность п. Таким образом, как и предсказывает формула (21), имеет место равенство
п?-\-п = п (ji-V l)/2 + »(n + 1)/2.
Вернемся теперь к доказательству формулы (20). Только один раз в этой книге нас будут интересовать не столько действительные вычисления, сколько техника доказательства, и только один раз мы воспользуемся при изучении одного пространства сравнением его с другим, и это приведет нас к полезной формуле (21). Отметим, прежде всего, что нуль-пространство матрицы Q является подпространством пространства R6+z, в то время как пространство V nW является подпространством в R™. При этом мы хотим доказать, что эти два подпространства имеют одинаковую размерность. Идея доказательства заключается в установлении между этими подпространствами взаимно однозначного соответствия.
Пусть задан произвольный вектор х из нуль-пространства матрицы Q. Перепишем уравнение Qx=0 в следующем виде:
Qx = x1v1+ ... 4-ха + ха+1ш1+ ... +xfc+ztyz = 0 или, эквивалентно,
од + • ■ • + ВД = -^А—xk+lwt.
Левая часть этого уравнения представляет собой вектор, принадлежащий пространству V, а правая часть — вектор, принадлежащий пространству W. Так как эти векторы равны, то они представляют собой некоторый вектор у, принадлежащий подпространству V Г) W. Таким образом, мы установили соответствие между вектором x^91(Q) и вектором y^VnW. Легко проверить, что это соответствие сохраняет операции сложения и умножения на скаляр, т. е. если вектор х $ 91 (Q) соответствует вектору у £ V Л W, а вектор х'£ 91 (Q)—вектору y'^VnW, то вектор x + x'C9l(Q) соответствует вектору у + у' ^VHW, а вектор cx£91(Q) соответствует вектору су $ V Л W. Кроме того, это соответствие является взаимно однозначным, т. е. каждый вектор у£ V Л W соответствует одному и только одному вектору x^91(Q) (упр. 2.6.5).
Это точная иллюстрация понятия изоморфизма между двумя векторными пространствами. Пространства V Л W и 91 (Q) различны, но с алгебраической точки зрения они совершенно одинаковые. Они совпадают во всем: линейно независимые множества соответствуют линейно независимым множествам, а базис одного пространства соответствует базису другого. Поэтому их размерности равны, что и завершает доказательство формул (20) и (21). Такого типа результаты позволяют алгебраистам идентифицировать два различных математических объекта, совпадающих по сущности своей. Известно, что любые два пространства с одина-
новым множеством скаляров, имеющие одинаковую (конечную) размерность, всегда изоморфны, но это слишком общее утверждение, чтобы оно могло взволновать нас. Интерес возникает, когда оказываются идентичными два совершенно внешне не похожих пространства, например 9((Q) и У Л У7.
'4 20 0"0 3—60'4 20 0"0 3—60QQПример 9. Предположим, что пространство У порождается первыми двумя столбцами, а пространство W —последними двумя столбцами матрицы
'4 20 0"
0 3—60
'4 20 0"
0 3—60
Q
Q
0 00 1J
Эта матрица уже имеет ступенчатый вид, причем третья переменная является свободной (третий столбец не имеет ведущего элемента). Поэтому первый, второй и четвертый столбцы порождают пространство столбцов У-|-1У, которое, имея размерность, равную трем, должно совпадать со всем R3. Чтобы найти V Л W, вычислим нуль-пространство матрицы Q. Присвоим свободной переменной х3 значение, равное единице (х3 = 1), и разрешим полученную систему относительно базисных переменных. Тогда получим х4 = 0, хг = 2, х, = —1. Соответствующее решение системы Qx = 0 имеет вид х = (—1, 2, 1, 0)т, и наше взаимно однозначное соответствие между 91 (Q) и У Л W отображает его в вектор
у = (— 1) (столбец 1) + (2) (столбец 2) = (— 1)у = (— 1) (столбец 1) + (2) (столбец 2) = (— 1)Г41Г41"2"30"2"30"0"6о"0"6о
у = (— 1) (столбец 1) + (2) (столбец 2) = (— 1)
у = (— 1) (столбец 1) + (2) (столбец 2) = (— 1)
Г41
Г41
"2"3
0
"2"3
0
"0"6о
"0"6о
который и является базисом для (одномерного) пересечения У Л 1У.
Упражнение 2.6.1. Пусть задано пространство квадратных матриц четвертого порядка, и пусть V будет подпространством трехдиагональных матриц, a W — подпространством верхних треугольных матриц. Описать подпространство Уф!У, элементами которого являются верхние матрицы Хессенберга, и подпространство УЛ^У- Проверить формулу (21).
Упражнение 2.6.2. Предположим, что ИП ^ = {0}. Тогда из формулы (21) следует равенство dim (Уф 1У) = dim Уф- dim 1У. Показать, что каждый элемент х^У-ЦУ может быть единственным образом представлен в виде суммы x=v-\-w, где и^ У, a w^ 1У. Иначе говоря, нужно предположить, что х = о'ф-ш', и доказать, что v=v' и ш = ш'. Если УЛ1У = {0}, то пространство Уф-1У называется прямой суммой пространств У и 1У и часто записывается как У ф 1У. Ортогональные подпространства всегда составляют прямую сумму так же, как любые два подпространства; пересечение которых состоит только из нулевого вектора.
Упражнение 2.6.3. Предположим, что подпространство У порождается вектор-столбцами (1, 1, О, 1)т и (1,2, 0, 0)т. Найти подпространство 1У, такое, что в обозначениях предыдущего упражнения Уф1У = R*.
Упражнение 2.6.4. Найти базис подпространства V'+W', где подпространство V порождается У1 = (1, 1, 0, 0) и и2 = (1, 0, 1, 0), а подпространство IT порождается tyt = (0, 1,0, 1) и ty2 = (0, 0, 1, 1). Найти также размерность подпространства УП^7 и его базис.
Упражнение 2.6.5. Проверить утверждение, что каждому вектору у £ У П U7 соответствует один и только один вектор x£9i(Q), описав, как для данного вектора у^УПИ7 найти единственный подходящий вектор х£91(<2)-
ОСНОВНЫЕ ПРОСТРАНСТВАДЛЯ ПРОИЗВЕДЕНИЙ МАТРИЦ АВ
Перейдем теперь от пар подпространств к произведениям матриц. Как всегда, объектом нашего изучения будут не отдельные элементы матрицы АВ, которые, возможно, не имеют ничего общего с элементами матриц А и В, а векторы (строки или столбцы), которые скорее, чем отдельные элементы, могут унаследовать некоторые свойства матриц А и В; точнее, даже не столько отдельные строки или столбцы, сколько подпространства, которые они порождают. Эти подпространства отражают свойства всей матрицы целиком.
Наш основной вопрос: какие связи можно установить между четырьмя основными подпространствами, связанными с матрицей А, четырьмя подпространствами, связанными с матрицей В, и четырьмя подпространствами, связанными их произведением АВ? Для этих матриц (все они могут быть прямоугольными) имеют место четыре основных соотношения.
Нуль-пространство матрицы АВ содержит нуль-пространство матрицы В, т. е. 91 (ЛВ) г31(Д).
Пространство столбцов матрицы АВ содержится в пространстве столбцов матрицы А, т. е. 91 (ЛВ)^ 91 (Л).
Левое нуль-пространство матрицы АВ содержит левое нуль-пространство матрицы А, т. е. 91 ((ЛВ)Т) э 91 (Лт).
Пространство строк матрицы АВ содержится в пространстве строк матрицы В, т. е. $1 ((АВ)1) ^.31 (В1).
Доказательство крайне просто. .
Если Вх = 0, то АВх = 0. Следовательно, 91(В)с9((ЛВ).
Предположим, что Ь^ЗЦАВ), или, иначе говоря, АВх = Ь для некоторого вектора х. Тогда b£3t (Л), поскольку А у = Ь для у = Вх. Следовательно, 91 (ЛВ) с 91 (Л).
Другое доказательство следует прямо из свойств умножения матриц, потому что каждый столбец матрицы АВ является линейной комбинацией столбцов матрицы А.
Так как (ЛВ)Т = ВТЛТ, то' третье утверждение совпадает с первым после того, как матрицу А в (i) заменить на матрицу Вт, а матрицу В—на Лт.
Четвертое утверждение совпадает со вторым после той же самой замены. Кроме того, оно прямо следует из свойств умножения матриц: t-я строка матрицы АВ является линейной комбинацией строк матрицы В с весами, являющимися элементами i-й строки матрицы А. Следовательно, пространство строк матрицы АВ содержится в пространстве строк матрицы В.
Упражнение 2.6.6. Показать на примере, что нуль-пространство матрицы АВ может не содержать нуль-пространство матрицы А, а пространство столбцов матрицы АВ может не содержаться в пространстве столбцов матрицы В.
Следствие. Ранг г и дефект v удовлетворяют неравенствам.
г(АВ)^г(А) и г(АВ)^г(В), (22) v(AB)>v(B). (23)
Так как пространство столбцов матрицы АВ содержится в про- страистве столбцов матрицы А, а ранг матрицы равен размерности ее пространства столбцов, то отсюда непосредственно следует, что г ^АВ) ^ г (А). Аналогично из (iv) вытекает, что г ^АВ') ^ г (В), а неравенство (23) для дефекта следует из (i). Отметим, что мы не пытаемся доказать неравенство v (AB) ^ v (А), которое для произвольных матриц не выполняется.
Упражнение 2.6.7. Показать на примере матриц, составленных из одних нулей, что vMS) может быть меньше, чем т(Л).
Существует еще одно характерное приложение, которое связано с полученными соотношениями (i) — (iv). Рассмотрим произвольную матрицу А размера тхп и ее разложение РА — LU (или А = P"VLU). Вспоминая, что последние т—г строк матрицы U равны нулю, предположим, что мы отбросили их, чтобы получить матрицу U порядка гхп. (В случае г — т отбрасывать нечего и U = U А Теперь внимательно посмотрим, как перемножаются ма
трицы:
А = (Р-^и = <Р"1Ц КА = (Р-^и = <Р"1Ц К(24)(24)
А = (Р-^и = <Р"1Ц К
А = (Р-^и = <Р"1Ц К
(24)
(24)
Последние т—г столбцов матрицы P~lL умножаются только на нижние нулевые строки матрицы U, в силу чего мы можем отбросить также и эти столбцы. Обозначим получившуюся матрицу через L, хотя в действительности ее надо было обозначить через P~lL, так как она состоит из первых г столбцов матрицы P~XL. До сих пор наши рассуждения не дали ничего, кроме следующего утверждения: отбрасывание нулей в равенстве (24) приводит к новому разложению A=LU.
К произведению матриц L и U мы применим утверждение (и) для пространства столбцов произведений: пространство столбцов матрицы A = LU содержится в пространстве столбцов матрицы L. Мы знаем, что пространство столбцов матрицы А имеет размерность г. Так как матрица L имеет только г столбцов, то ее пространство столбцов не может быть больше пространства столбцов матрицы А и, следовательно, эти два пространства столбцов совпадают. Матрица L имеет то же пространство столбцов, что и матрица А, а матрица U имеет то же пространство строк, что и матрица А.
Упражнение 2.6.8. Разложить матрицу
, ГО 1 4 01д =
0 2 8 0
в произведение A = LU и проверить, что столбцы матрицы L являются базисом пространства столбцов матрицы А.
Упражнение 2.6.9. Повторить предыдущее задание для матрицы А, требующей применения матрицы перестановки Р:
0'
2
8
0
Упражнение 2.6.10. Умножение каждого столбца матрицы L на строку с тем же номером матрицы U позволяет разложить матрицу A = LU в сумму г матриц единичного ранга. Построить матрицы L и U и разложить в сумму г матриц единичного ранга следующую матрицу ранга 2:
3933932'502'50"13
3
9
3
3
9
3
2'
5
0
2'
5
0
А =26
-1—3
Наконец, напомним, что подматрица С образуется путем вычеркивания некоторых (или никаких) строк матрицы А и некоторых (или никаких) столбцов этой матрицы. Нетрудно угадать ограничение на ранг матрицы С.
1
2Z. Предположим, что А—матрица размера тхп и ее ранг г (Л) равен г. Тогда
для каждой ее подматрицы С имеем г (С)^г (Л) = г;
(И) существует по крайней мере одна подматрица С размера гхг, ранг которой равен г, т. е. г ^ = г (Л) = г.
Доказательство. Сведем матрицу А к матрице С в два этапа. На первом этапе оставим число столбцов неизменным и вы-
черкнем только нежелательные строки. Пространство строк этой промежуточной матрицы В, очевидно, содержится в пространстве строк матрицы А, в силу чего г (В) ^ г (Д) = г. На втором этапе матрица В сводится к матрице С вычеркиванием нежелательных столбцов. Поэтому пространство столбцов матрицы С содержится в пространстве столбцов матрицы В и, следовательно, г (С) ^ ^г(В)^г. Это устанавливает (i).
Чтобы доказать (И), предположим, что матрица В образована из г линейно независимых строк матрицы А. Тогда пространство строк матрицы В имеет размерность г, т. е. г(В) = г(Д) = г. Пространство столбцов матрицы В также должно иметь размерность г. Предположим далее, что С образована из г линейно независимых столбцов матрицы В. Тогда пространство столбцов матрицы С имеет размерность г и, следовательно, г (С) —г. Это завершает доказательство (и): каждая матрица ранга г содержит невырожденную подматрицу размера гхг. -
Пример 10. Рассмотрим еще раз матрицу
Г 1 зГ 1 з3 2"
Г 1 з
Г 1 з
9 5
3 о_
размера 3x4, имеющую ранг г = 2, с подматрицей
1 3
2 9
Каждая подматрица А, имеющая размер 3x3, вырожденна, а подматрица С невырожденна.
' 1 2 31^ ^ g найти максимальную не-' 1 2 31^ ^ g найти максимальную не-Последняя теорема не заслуживает особого выделения. Она похожа на действительно важную теорему из конца предыдущего параграфа (первую после рис. 2.7) и имеющую номер 2W. Там доказано, что каждая матрица А задает обратимое отображение ее r-мерного пространства строк в ее r-мерное пространство столбцов. Эти пространства и это отображение дают полную информацию о матрице А. При этом матрица может быть восстановлена по такому отображению. Здесь речь идет лишь об отыскании обратимой подматрицы С и ничего не говорится о выборе этой подматрицы; у матрицы А может существовать много различных обратимых подматриц порядка г, как показывают примеры. Мы дадим новое, эквивалентное прежнему определение ранга: рангом матрицы А называется порядок максимальной ее невырожденной подматрицы. '
' 1 2 31
^ ^ g найти максимальную не-
' 1 2 31
^ ^ g найти максимальную не-
Упражнение 2.6.11. Для матрицы А = вырожденную подматрицу и ранг.
Ниже мы предлагаем ряд более абстрактных упражнений, чтобы получить некоторую практику доказательств.
Упражнение 2.6.12. Предположим, что А— матрица размера тхп, а В — матрица размера пхт и п < т. Доказать, что их произведение АВ вырожденно.
Упражнение 2.6.13. Доказать, что г (Л + В) ^ г (Л) + г (В).
Упражнение 2.6.14. Пусть 91 (ДВ) = 91 (В) и некоторый вектор улежит в Ж(В)П91(Д). Доказать, что у = 0
Упражнение 2.6.15. Пусть А—квадратная и обратимая матрица. Показать, что матрица АВ имеет те же самые нуль-пространство, пространство строк и ранг, что и матрица В. Указание: применить утверждение (1) из 2Z к произведению Л-1(ЛВ).
Упражнение 2.6.16. Рассмотрим четырехмерное векторное пространство И всех квадратных матриц второго порядка, и пусть задана некоторая матрица А из V. Предположим, что пространство V преобразуется в себя по следующему правилу: каждая матрица B^V отображается в матрицу AB^V. Если матрица А обратима, то это отображение не имеет нуль-пространства, т. е. существует только одна матрица, отображающаяся в нулевую,— это нулевая матрица.
Г1
Пусть А = I ; описать нуль-пространство соответствующего ей отображения, т. е. множество всех квадратных матриц В, таких, что АВ = 0, и вычислить его размерность (которая равна дефекту отображения, а не дефекту матрицы Л!).
(И) Описать также образ или «пространство столбцов» этого отображения.
рица из V. Вычислить размерность этого пространства (которая равна рангу отображения, а не рангу матрицы). Проверить, что ранг-ф дефект = dim V.
ОБЗОРНЫЕ УПРАЖНЕНИЯ
Найти базис подпространства пространства R4, компоненты векторов которого удовлетворяют равенствам xt = х2 = *3-
Найти ступенчатый вид U матрицы
А =А =1 2-1 —21 2-1 —2ГОГО
А =
А =
1 2
-1 —2
1 2
-1 —2
Г
О
Г
О
2 —3 —7 —2
Каковы размерности четырех основных подпространств, связанных с этой матрицей?
Определить базис двумерного подпространства из R3, не содержащего ни один из координатных векторов (1, 0, 0), (0, 1, 0), (0, 0, 1).
Найти ранг и нуль-пространство матрицы'0 0ГА = 0 0 1 .
1 1 1
Построить матрицу, нуль-пространство которой порождается вектором [1, О, 1]Т.
Определить, верны или ложны следующие утверждения. Если ложно, то привести контрпример.Если векторы xlt ..., хт порождают подпространство S, то dim S = m..Пересечение двух подпространств векторного пространства не может быть пусто.Если Ах = Ау, то х = у.Пространство строк матрицы А имеет единственный базис, который может быть вычислен путем приведения матрицы А к ступенчатому видуЕсли квадратная матрица А имеет линейно независимые столбцы, то этим свойством обладает и матрица Л8Найти базисы для четырех основных подпространств, связанных с матрицамиОпределить, верны или ложны следующие утверждения. Если ложно, то привести контрпример.Если векторы xlt ..., хт порождают подпространство S, то dim S = m..Пересечение двух подпространств векторного пространства не может быть пусто.Если Ах = Ау, то х = у.Пространство строк матрицы А имеет единственный базис, который может быть вычислен путем приведения матрицы А к ступенчатому видуЕсли квадратная матрица А имеет линейно независимые столбцы, то этим свойством обладает и матрица Л8Найти базисы для четырех основных подпространств, связанных с матрицамиА =А =1 23 61 23 6В =В =О О’О ОО О’О ОС =С =110 0"0 10 1110 0"0 10 1
Определить, верны или ложны следующие утверждения. Если ложно, то привести контрпример.
Если векторы xlt ..., хт порождают подпространство S, то dim S = m..
Пересечение двух подпространств векторного пространства не может быть пусто.
Если Ах = Ау, то х = у.
Пространство строк матрицы А имеет единственный базис, который может быть вычислен путем приведения матрицы А к ступенчатому виду
Если квадратная матрица А имеет линейно независимые столбцы, то этим свойством обладает и матрица Л8
Найти базисы для четырех основных подпространств, связанных с матрицами
Определить, верны или ложны следующие утверждения. Если ложно, то привести контрпример.
Если векторы xlt ..., хт порождают подпространство S, то dim S = m..
Пересечение двух подпространств векторного пространства не может быть пусто.
Если Ах = Ау, то х = у.
Пространство строк матрицы А имеет единственный базис, который может быть вычислен путем приведения матрицы А к ступенчатому виду
Если квадратная матрица А имеет линейно независимые столбцы, то этим свойством обладает и матрица Л8
Найти базисы для четырех основных подпространств, связанных с матрицами
А =
А =
1 2
3 6
1 2
3 6
В =
В =
О О’
О О
О О’
О О
С =
С =
110 0"
0 10 1
110 0"
0 10 1
Найти общее решение системы «4-v+ui=l, и—ш = 2.
Существует ли матрица, пространство строк которой содержит вектор [1 1 1]т, а пространство столбцов—вектор [1 0 0]т?
Найти все векторы, перпендикулярные к векторам (1, 4, 4, 1) и (2, 9, 8, 2).
Могут ли векторы (1, 2, 1), (0, 1, 3) и (3, 7, 6) лежать в одной и той же плоскости пространства R3?
Которому из четырех основных подпространств, связанных с матрицей А, должен быть ортогонален вектор b для того, чтобы система Ах = Ь имела решение?
Найти все решения систем
"I I ИГХ)""I I ИГХ)"2 1 12 1 13 1 1J с^з3 1 1J с^з234234"12"12Г1Г1Х1хгХ1хгГ 2 ЛГ 2 Лз * 1J L *3з * 1J L *33535
"I I ИГХ)"
"I I ИГХ)"
2 1 1
2 1 1
3 1 1J с^з
3 1 1J с^з
2
3
4
2
3
4
"1
2
"1
2
Г
1
Г
1
Х1
хг
Х1
хг
Г 2 Л
Г 2 Л
з * 1J L *3
з * 1J L *3
3
5
3
5
Могут ли векторы (1, 1, 3), (2, 3, 6) и (1, 4, 3) образовывать базис в R3?
Найти матрицы А, для которых число решений системы Ах=Ь равняется:'
0 или 1 в зависимости от вектора 6;
1 или оо в зависимости от вектора 6;
0 или оо в зависимости от вектора 6;
1 независимо от вектора Ь.
Как должно быть связано число г с п и т в каждом случае предыдущего упражнения?
Глава 3
ОРТОГОНАЛЬНЫЕ ПРОЕКЦИИИ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
§ 3.1. СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ И ТРАНСПОНИРОВАНИЕ
Мы уже знаем, что скалярное произведение двух векторов х и у есть число хту. До сих пор нас интересовал лишь вопрос, равно ли нулю это число, другими словами, ортогональны ли эти два вектора. Теперь же мы будем допускать возможность, что скалярные произведения не равны нулю, т. е. что углы не являются прямыми, и интересоваться соотношением между скалярным произведением и углом. В этом параграфе мы также коснемся вопроса о связи между скалярным произведением и транспонированием. В предыдущей главе транспонирование осуществлялось путем переворачивания матрицы, как оладьи; теперь эта процедура будет заменена более строгой.
Суммируя материал оставшейся части главы, следует отметить, что ортогональный случай все-така является наиболее важным. Предположим, что задана точка b в «-мерном пространстве и мы хотим найти расстояние от этой точки до прямой, порожденной вектором а, т. е. мы ищем на этой прямой точку р, ближайшую к Ь. Тогда прямая, соединяющая точки b и р (изображенная на рис. 3.1 пунктиром), перпендикулярна к исходному вектору а.
Рис. 3.1. Проекции в «-мерном пространстве.
Этот факт позволяет нам найти ближайшую точку р и вычислить расстояние от нее до Ь. Несмотря на то что исходные векторы а и b не были ортогональны, для решения задачи автоматически привлекается ортогональность.
Ситуация будет аналогичной, если вместо прямой, определенной вектором а, задана плоскость или вообще любое подпространство S пространства R". Задача вновь сводится к отысканию точки р в этом подпространстве, которая является ближайшей к Ь, и эта точка вновь оказывается проекцией точки b на подпространство S. Если мы опустим перпендикуляр из точки b на 5, то р будет точкой пересечения этого перпендикуляра с подпространством S. Геометрически это соответствует решению задачи о расстояниях между точками и подпространствами. Однако остаются и некоторые вопросы, а именно:
Имеет ли эта задача практическое значение?
Существует ли аналитическая формула для определения точки р, если подпространство S задается определенным базисом (или просто набором векторов, порождающих его)?
Существует ли устойчивый (с вычислительной точки зрения) способ вычисления точки р при помощи этой формулы?
Ответ на первые два вопроса, безусловно, является положительным. Наша задача, до сих пор описанная в геометрических терминах, в точности совпадает с задачей о решении переопределенной системы уравнений методом наименьших квадратов. Вектор b представляет собой информацию, полученную в результате проведения серии экспериментов или опросов, и в ней содержится слишком много ошибок, чтобы он мог попасть в данное подпространство S. Другими словами, если мы попытаемся представить вектор b как вектор из подпространства S, то нам не удастся этого сделать, поскольку соответствующая система уравнений окажется несовместной и, значит, не имеет решения. А метод наименьших квадратов даст нам точку р, наилучшую из возможных. Сомневаться в важности этого приложения не приходится1).
Второй вопрос, об отыскании формулы для точки р, решается очень просто, когда подпространство представляет собой прямую. В этом и следующем параграфах мы будем проектировать один вектор на другой различными способами и соотносить это проектирование с вопросом о скалярных произведениях и об углах. К счастью, формула для р остается достаточно простой и при проектировании на подпространства большей размерности (при условии, что в них задан базис). Это наиболее важный случай; он соответствует задаче о наименьших квадратах с несколькими
’) В экономике и статистике это называется регрессионным анализом.
параметрами и решается в § 3.2. Остаются еще две возможности, заслуживающие отдельного рассмотрения:
Если подпространство S описывается набором порождающих его векторов, причем линейно зависимых, то эта вырожденность приводит к нарушению формулы для р. Точка р остается единственной точкой, ближайшей к Ь, но она может быть выражена различными способами в виде комбинации линейно зависимых наборов векторов. Поэтому требуется дополнительное правило, позволяющее выделить одну комбинацию, и это приводит нас в § 3.4 к понятию псевдообратной матрицы.
Предположим гораздо более благоприятную ситуацию, когда описывающие S векторы не только линейно независимы, но и взаимно ортогональны. В этом случае формула для р становится особенно простой и все сводится к случаю проектирования на прямую. Столь же простыми будут и вычисления. Это обстоятельство наводит на мысль о необходимости предварительной подготовки базиса с тем, чтобы составляющие его векторы стали взаимно ортогональными. Любой базис может быть преобразован в ортогональный, и в § 3.3 описывается простой процесс Грама — Шмидта, служащий для этой цели.
Остается ответить на третий вопрос о том, может ли быть реализована устойчивая схема для метода наименьших квадратов. Сделать это труднее по следующей причине: подпространство S определяется набором векторов, и если эти векторы будут близки к линейной зависимости, то оказывается практически невозможным установить их линейную зависимость или независимость. Другими словами, размерность подпространства S (число линейно независимых векторов) является исключительно неустойчивой, что делает неустойчивыми как точку р, так и псевдооб- ратную матрицу. В более устойчивом случае «нормальные уравнения», описанные в § 3.2, дают простейший способ для вычисления р (то же самое относится и к процессу ортогонализации Грама—Шмидта или к сингулярному разложению из § 3.4).
СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ И НЕРАВЕНСТВО ШВАРЦА
Вернемся к обсуждению вопроса о скалярных произведениях и углах. Ниже будет показано, что скалярные произведения связаны не с самими углами, а с их косинусами. Поэтому мы обратимся к тригонометрии, т. е. к двумерному случаю, чтобы найти это соотношение (рис. 3.2). Пусть а есть угол между вектором а и осью х. Вспоминая, что ||й|| есть длина вектора а, равная гипотенузе треугольника OaQ, получаем выражения для синуса и ко-
синуса угла а в виде
.0.2Of
sin а , cos а =•
То же самое справедливо и для вектора Ъ с соответствующим углом Р: его синус равен Ь2/р||, а косинус равен ^/||6Ц. Теперь, поскольку угол 9 в точности равен Р—а, его косинус дается хорошо известным тригонометрическим тождеством
cos 9 = cos р cos а + sin Р sin а = “^^“^ •(1)
Числитель этой формулы совпадает со скалярным произведением векторов b и а, откуда мы и получаем требуемое соотношение:
i ЗА. Косинус угла между двумя векторами равен
Отметим, что эта формула правильна и в метрическом отношении: если мы вдвое увеличим вектор Ь, то как числитель, так и знаменатель увеличатся вдвое и косинус останется неизменным. Изменение знака вектора b на противоположный одновременно изменит знак у cos 9, что означает изменение угла на 180°.
Замечание. Тот же самый результат может быть получен и из теоремы косинусов, которая связывает длины сторон в произвольном треугольнике и имеет вид
||6-< = ||6|p4|H2”2HM|cos9. (3)
Если 9 является прямым углом, то мы приходим к теореме Пифагора, а при произвольном 9 выражение ||Ь—сТ может быть за-
писано в виде ф—а)^ ф—а) и вместо (3) получаем:
ЬТЬ—2аТЬ + 0е а = ЬТЬ + ата—21| b || || а || cos 9.
После сокращений мы приходим к формуле (2) для косинуса. Фактически это доказывает и нашу формулу для /i-мерного случая, поскольку все происходит лишь в плоском треугольнике ОаЬ.
Теперь мы хотим найти проекцию р. Эта точка должна быть кратна вектору а, т. е. р — ха, поскольку любая точка этой прямой кратна а, и задача состоит в отыскании коэффициента х. Для этого нам нужен лишь простой геометрический факт, состоящий в том, что прямая, соединяющая конец вектора b с точкой р, перпендикулярна к вектору а:
ф—ха)^а, или ат ф—хй) —О, или х=^-.
а1 а
ЗВ. Проекция р точки b на прямую, определенную вектором а, задается формулой
аЧ...
р = —а.(4)
а а
Расстояние ф квадрате) от этой точки до прямой равняется
(5)
Это позволяет нам повторить рис. 3.1 уже с указанием формулы для определения точки р (рис. 3.3).
Рис. 3.3. Проекция вектора b на вектор а.
Полученная формула имеет замечательное следствие, представляющее собой, вероятно, наиболее важное неравенство в математике. (Как частный случай оно заключает в себе и неравенство о среднем геометрическом и среднем арифметическом и эквивалентно—см. упр. 3.1.1—неравенству треугольника.) Сам по себе этот результат кажется случайным следствием из формулы (5) для расстояния от точки до прямой, т. е. между b и ха. Это расстояние, а также его квадрат обязательно должны быть неотрицательными. Поэтому числитель в формуле (5) должен быть неотрицателен: фТЬ) (атя) — ^аТЬу^ 0. Если мы добавим к обеим частям неравенства величину ^Ьу и извлечем корень, то формула (5) перепишется в таком виде:
ЗС. Любые два вектора удовлетворяют неравенству Шварца 1аТб|^ИН- (6)
Замечание. Согласно формуле (2), отношение двух частей неравенства (6) в точности равно |cos9|. Поскольку все значения косинуса лежат в пределах от —1 до 1, мы получаем другое доказательство неравенства (6), причем доказательство, в некотором смысле более доступное для понимания благодаря очевидности свойств косинуса. Но мы хотим подчеркнуть простоту нашего доказательства, которое сводится к механическим вычислениям в формуле (5). Выражение в левой части (5) является неотрицательным, и оно будет оставаться неотрицательным даже после введения ниже дополнительных возможностей для скалярных произведений и длин векторов. Поэтому выражение в правой части (5) также будет неотрицательным, и неравенство Шварца доказано, причем без привлечения тригонометрии1).
И последнее замечание: равенство в (6) достигается тогда и только тогда, когда вектор b является кратным а. В этом случае конец вектора b совпадает с точкой р и расстояние (5) между этой точкой и прямой равно нулю.
ТРАНСПОНИРОВАНИЕ МАТРИЦЫ
Обратимся теперь к транспонированию матриц. До сих пор матрица Лт определялась нами лишь как зеркальное отражение матрицы Л относительно ее главной диагонали: строки матрицы А превращались в столбцы матрицы Лт, и наоборот. Другими сло-
!) Имя Коши также связывается с этим неравенством | а'Ь | < || а !||| b ||, а в русской литературе даже называют его неравенством Коши — Шварца — Буняковского! История математики показывает, что это, по-видимому, правильно.
вами, элемент г-й строки и /-го столбца матрицы Лт совпадает с элементом (/, i) матрицы А:
(Ar)l/ = (A)/i.(7)
Но в транспонировании матрицы заложен и более глубокий смысл, поскольку оно тесно связано со скалярным произведением. На самом деле эта связь может быть использована для того, чтобы дать новое и значительно более «абстрактное» определение транспонирования:
3D. Транспонированная матрица А^ может быть определена с помощью следующего свойства: скалярное произведение вектора Ах на вектор у равняется скалярному произведению вектора х на АТу. Формально это просто означает, что
(Ах^у = х^А^у = хт (АТу\(8)
Новое определение преследует две цели:
Оно показывает нам, как следует модифицировать транспонирование, когда мы пользуемся другими определениями скалярного произведения. Это будет важно в случае комплексных чисел; новое скалярное произведение появится в § 5.5.
(И) Оно позволяет нам транспонировать произведение АВ без перемножения этих матриц, причем соответствующее правило совершенно аналогично известному правилу обращения произведения матриц (АВ)-1 = В-1 А-1.
ЗЕ. Транспонированная к АВ матрица равняется произведению транспонированных матриц, взятых в обратном порядке,
(9)(9)(АВУ = ВТАТ.
(9)
(9)
Доказательство. Скалярное произведение (АВ)х на у должно равняться, согласно 3D, скалярному произведению вектора х на (ЛВ)Т у. С другой стороны, оно также равняется скалярному произведению А (Вх) на у, что совпадает с произведением Вх на А^у по 3D. Отсюда по 3D получаем, что исходное скалярное произведение равно произведению вектора хна В^А^у), откуда и получается равенство (ЛД)Т = ВТЛТ. Это легко показать
на конкретном примере:
4'
3
2"
0
'0
2
1
4
1I1IАВ =АВ =1О1ОВТАТ = "ОВТАТ = "О1 Г0 1 =°1= Г831"51 Г0 1 =°1= Г831"58 1 5
1
I
1
I
АВ =
АВ =
1
О
1
О
ВТАТ = "О
ВТАТ = "О
1 Г
0 1 =
°1= Г8
31
"5
1 Г
0 1 =
°1= Г8
31
"5
6 0 3 6’ .
0
3
Нам нужна еще одна матрица. При проектировании на прямую в знаменателе стояло число аТа. При проектировании на подпространство это число превращается в матрицу ДТД, ранг которой может быть вычислен заранее.
3F. Для произвольной матрицы Л размера тхп, имеющей ранг г, произведение ЛТЛ является симметрической матрицей ранга г.
Вспомним, что симметрической называется матрица, совпадающая со своей транспонированной. Поэтому вычислим транспонированную к ЛТЛ матрицу по правилу (9):
(ЛТЛД = ЛТ(ДТ)Т. (10)
Но при повторном транспонировании мы вновь вернемся к исходной матрице А. Поэтому правая часть в (10) совпадает с ЛТЛ и (10) показывает, что матрица совпадает со своей транспонированной. Другими словами, матрица ЛТЛ является симметрической.
Для отыскания ее ранга мы покажем, что матрицы А и ЛТЛ имеют одинаковые нуль-пространства. Тогда, поскольку ранг плюс размерность нуль-пространства равняется числу столбцов матрицы, г + (п—г^ = п, и матрицы А и ЛТЛ имеют по п столбцов, отсюда немедленно вытекает равенство рангов матриц. Если вектор х принадлежит нуль-пространству матрицы А, то Лх = 0 и ЛтЛх = Лт0 = 0, так что х принадлежит и нуль-пространству матрицы ЛТЛ. Обратно, пусть ЛтЛх = 0. Умножая скалярно на вектор х, получаем
хтЛтЛх = 0, или )| Ллг|{ —0, или Лх = 0.
Следовательно, х принадлежит нуль-пространству матрицы А и оба нуль-пространства совпадают.
Отметим один случай, который является как наиболее важным, так и наиболее распространенным. Это случай, когда столбцы матрицы А линейно независимы, так что ее ранг г равен п. Тогда, согласно 3F, матрица АТА размера пхп также будет иметь ранг, равный п. Следовательно, эта матрица обратима.
3G. Если столбцы матрицы А линейно независимы, так что г = п, то АТА является квадратной симметрической обратимой матрицей.
Л = Г1 41Л = Г1 41АТААТАГ14 71[7 17.1Г14 71[7 17.1Легко привести пример такой матрицы:
Л = Г1 41
Л = Г1 41
АТА
АТА
Г14 71[7 17.1
Г14 71[7 17.1
Обе матрицы имеют линейно независимые столбцы, ранг равен 2, и нуль-пространство отсутствует.
Упражнение 3.1.1. (а) Пусть заданы два произвольных положительных числа х и у. Рассмотрим векторы Ь = ( Ух, Уу) и а = (У у, Ух). Используя неравенство Шварца, сравнить среднее арифметическое чисел х и у с их средним геометрическим.
(Ь) Пусть задан вектор с началом в нуле и концом в точке х и к нему добавлен вектор длины j|y||, соединяющий точку х с x-Vy- Третья сторона треугольника образуется отрезком, соединяющим начало координат с этой точкой х-Vy. Тогда неравенство треугольника утверждает, что это расстояние не может превосходить сумму первых двух:
II х+ У 11^11 х II+11УII-
Возводя обе части в квадрат, привести это к неравенству Шварца.
Упражнение 3.1.2. Проверить справедливость теоремы Пифагора для треугольника ОЬр, изображенного на рис. 3.3, используя формулу (5) для длины стороны Ьр.
Упражнение 3.1.3. Найти на луче, проходящем через начало координат и через точку а = (1, 1, 1), точку р, ближайшую к точке b =Ц2, 4, 4). Найти также точку, ближайшую к а, на луче, проходящем через начало координат и точку Ь.
Упражнение 3.1.4. Объяснить, почему неравенство Шварца превращается в равенство, когда точки а и Ь лежат на одной прямой, проходящей через начало координат, и только в этом случае. Что произойдет, если они будут расположены по разные стороны от начала координат?
Упражнение 3.1.5. Какой угол образует вектор (1, 1, ..., 1) с осями координат в n-мерном пространстве?
У пражнение 3.1.6. Неравенство Шварца доказывается в одну строчку, если векторы а и b заранее нормированы к единичной длине:
I ^b I = 12 ар/ | < 2 | а, 11 Ь, | < .2 =ц а ц || 6 у.
Провести доказательство справедливости второго неравенства.
Упражнение 3.1.7. Транспонирование матрицы АА-Х = 1 показывает, что операции транспонирования и обращения перестановочны: (Д-1)т = (Дт)~\ Показать, что если матрица А является симметрической, то симметрической будет и Д"1.
Упражнение 3.1.8. Построить симметрические матрицы А и В размера 2x2, произведение АВ которых не является симметрической матрицей. Заметим, что если матрицы А и В коммутируют, то их произведение будет симметрической матрицей: (АВ)Т = В^ А^ = В А = АВ.
Упражнение 3.1.9. Если матрица А имеет ранг г, то тот же ранг имеют и матрицы Ат (ранг по строкам равен рангу по столбцам), АТА (согласно 3F) и ААТ (согласно 3F, примененному к матрице Ат). Показать, что матрица ААТ может не быть обратимой, даже если АТА является таковой.
Упражнение 3.1.10. Молекула метана СН4 устроена таким образом, что атом углерода находится в центре правильного тетраэдра с четырьмя атомами водорода в вершинах. Если вершины находятся в точках (0, 0, 0), (1,1, 0), (1, 0, 1) и (0, 1, 1) — при этом шесть ребер имеют длину, равную V~2, так что тетраэдр является правильным,— то чему равен косинус угла между лучами, идущими из центра ( ~2" > ту > ■у) в вершины? (Сам этот угол, хорошо известный химикам, равен примерно 109,5°.)
ПРОЕКЦИИ НА ПОДПРОСТРАНСТВАИ АППРОКСИМАЦИИ ПО МЕТОДУНАИМЕНЬШИХ КВАДРАТОВ
До сих пор система Ах = Ь либо имела решение, либо не имела его. Если вектор b не принадлежит пространству столбцов Э? (Л), то система является несовместной и метод исключения Гаусса не работает. Это почти всегда происходит в системах т уравнений (т>1) с одним неизвестным. Например, система
(Н)(Н)2x = blt Зх = Ьг, 4х = Ь8
(Н)
(Н)
будет иметь решение только в случае, когда отношение правых частей равно 2:3:4. Решение х, если только оно существует, безусловно является единственным, но оно будет существовать лишь когда вектор b лежит на той же прямой, что и вектор
"2"
3
4
Хотя несовместные системы и являются неразрешимыми, они часто возникают на практике, и их нужно уметь решать. Одна возможность состоит в отыскании вектора х из части системы и игнорировании оставшихся уравнений. Но такой прием трудно обосновать, если все т уравнений имеют один и тот же «источник». Вместо точного решения одних уравнений и допущения больших ошибок в других целесообразно выбрать вектор х таким образом, чтобы минимизировать среднюю ошибку для всех т уравнений. Существует много способов для выбора такого осреднения, но наиболее удобный заключается в использовании суммы квадратов £2 = (2х —Ь.У + (Зх —Ь2у + (4х— Ь3)2.(12)
Если уравнение ах = Ь имеет точное решение, то минимальная ошибка равна £ = 0. В более вероятном случае, когда вектор b
не пропорционален а, функция £а будет параболой с минимумом в точке, где
^ = 2[(2х-^)2-НЗх-^)3 + (4х-63)4] = 0.(13)
Разрешая относительно х, получаем приближенное решение системы ах = Ь по методу наименьших квадратов в виде
у261 + 363-(- 46э2Z?14-362+ 4Ь3
224-32+42 —29'I '
Нетрудно дать общую формулу для произвольных а#:0 и правой части Ь. Во-первых, ошибка Е представляет собой длину вектора ах—Ь:
Е^\\ах—Ь\\ = [(а1х—Ь1у+. . . +(атх—Ьт)2у/\(15)
Возводя в квадрат, получаем параболу
Е- = (ах — 6)т (ах —Ь) =аТах2—2a’TbxJrbYb.(16)
Она имеет минимум в точке, где
= 2атах —2атЬ = 0.
ЗН. Решение по методу наименьших квадратов одномерной задачи ах = Ь имеет вид
Геометрически это решение совпадает с проекцией: р = ха является точкой на прямой, определенной вектором а, ближайшей к Ь.
Таким образом, мы возвращаемся к геометрической интерпретации задачи о наименьших квадратах— к минимизации расстояния. Дифференцируя параболу £2 в форме (16) и приравнивая производную нулю, мы фактически использовали аппарат анализа для подтверждения геометрических рассмотрений предыдущего параграфа. Прямая, соединяющая точки b и р, должна быть перпендикулярна направлению вектора а, откуда находится значение х:
(18) ' а а
В заключение коснемся вырожденного случая а = 0. В этой ситуации все числа, кратные а, равны нулю и прямая вырождается в точку. Поэтому проекцией b на вектор а является точка р — 0. Но формула (17) для х превращается в неопределенность вида
0/0, что отражает полную произвольность в выборе множителя х. Фактически все значения х будут давать одну и ту же ошибку £ = ||Ох—Ь\\, так что Е1 превращается из параболы в горизонтальную прямую и не существует единственной минимизирующей точки х. Одна из целей псевдообращения, которое будет описано в § 3.4, заключается в придании числу х определенного значения. В данной ситуации этим значением будет точка х = 0, которая по крайней мере выглядит более «симметричной», чем все остальные.
Упражнение 3.2.1. Предположим, что мы измеряем вес пациента в четырех различных случаях, и он оказывается равным 6Т= 150, 62= 153, 6д= 150, 64= 151. Какое значение является наилучшим в смысле наименьших квадратов для указания веса пациента?
Упражнение 3.2.2. Найти наилучшее решение х в смысле метода наименьших квадратов для задачи Зх= 10, 4х = 5.
МНОГОМЕРНЫЕ ЗАДАЧИ О НАИМЕНЬШИХ КВАДРАТАХ
Теперь мы готовы к следующему шагу, а именно к проектированию вектора b на подпространство, а не на прямую. Эта геометрическая задача возникает следующим образом. Пусть мы вновь начинаем с системы Ах = Ь, но теперь А является матрицей размера тхп, т. е. вместо одного неизвестного и одного вектор- столбца а матрица содержит п столбцов. Мы должны по-прежнему считать, что число т наблюдений больше числа неизвестных п, так что следует ожидать, что система Ах = b окажется несовместной. Вероятно, не существует вектора х, который бы точно соответствовал Ь. Другими словами, вектор Ь, вероятно, не является комбинацией столбцов матрицы А.
Задача вновь состоит в выборе х, минимизирующего ошибку, и эта минимизация снова будет производиться по методу наименьших квадратов. Ошибка равняется Е = \\ Ах—Ь^, и она в точности представляет собой расстояние от b до точки Ах, лежащей в пространстве столбцов матрицы А. (Вспомним, что Ах есть линейная комбинация столбцов с коэффициентами хп . .., х„.) Поэтому отыскание решения х по методу наименьших квадратов, означающее минимизацию ошибки Е, эквивалентно отысканию точки р = Ах, ближайшей к точке b по сравнению с остальными точками из пространства столбцов.
Для определения вектора х можно использовать либо геометрию, либо анализ. Мы воспользуемся первой из возможностей: точка р должна быть «проекцией b на пространство столбцов» и вектор невязки Ах —b должен быть ортогонален к этому
пространству (рис. 3.4). Ортогональность к пространству состоит в следующем. Каждый вектор в пространстве столбцов матрицы А является линейной комбинацией столбцов с некоторымипространству (рис. 3.4). Ортогональность к пространству состоит в следующем. Каждый вектор в пространстве столбцов матрицы А является линейной комбинацией столбцов с некоторымиРис. 3.4. Проекция на пространство столбцов матрицы размера 3X2.Рис. 3.4. Проекция на пространство столбцов матрицы размера 3X2.
пространству (рис. 3.4). Ортогональность к пространству состоит в следующем. Каждый вектор в пространстве столбцов матрицы А является линейной комбинацией столбцов с некоторыми
пространству (рис. 3.4). Ортогональность к пространству состоит в следующем. Каждый вектор в пространстве столбцов матрицы А является линейной комбинацией столбцов с некоторыми
Рис. 3.4. Проекция на пространство столбцов матрицы размера 3X2.
Рис. 3.4. Проекция на пространство столбцов матрицы размера 3X2.
коэффициентами yt, ..., уп. Другими словами, это вектор вида Ау. Для всех у эти векторы в плоскости должны быть перпендикулярны вектору невязки Ах—Ь:
(Ау)т(Ах—6) —О, или ут[АтАх— АТЬ]==;О. (19) Это справедливо для произвольного вектора у, откуда следует, что вектор в квадратных скобках должен быть нулевым, А1 Ах — — АТЬ = О. Таким образом, геометрические соображения приводят нас к фундаментальным уравнениям метода наименьших квадратов.
Решение по методу наименьших квадратов для несовместной системы Ах = Ь, состоящей из т уравнений с п неизвестными, удовлетворяет соотношению
А^Ах^АЧ. (20)
Оно известно под названием «.нормальныхуравнений». Если столбцы матрицы А являются линейно независимыми, то по 3G матрица АТА обратима и единственное решение дается формулой
x = (ATA)-i А^Ь. (21) Проекция точки b на пространство столбцов, таким образом, имеет вид
р = Ах = А<АТАГхАхЬ.р = Ах = А<АТАГхАхЬ.(22)(22)
р = Ах = А<АТАГхАхЬ.
р = Ах = А<АТАГхАхЬ.
(22)
(22)
Матрица 5 = (Л1Л)-1Л1, возникающая в формуле (21), х = ВЬ, является одной из левых обратных к матрице Л: В А = = (ЛТЛ)-1 ЛТЛ =/. Существование этой левой обратной гарантируется условием единственности из теоремы 2Q, поскольку столбцы матрицы А являются линейно независимыми.
Для иллюстрации рассмотрим задачу, которую можно решить либо интуитивно, либо с использованием формулы (22). Пусть матрица Л и вектор b задаются формулами
А легко определяется, посколькуА легко определяется, посколькуПространство столбцов матрицы
А легко определяется, поскольку
А легко определяется, поскольку
0)т. То же0)т. То жесамое следует и из фор-самое следует и из фор-оба столбца матрицы оканчиваются нулями: это пространство совпадает с плоскостью ху в трехмерном пространстве. Проекция точки b на эту плоскость будет иметь те же самые компоненты по осям х и у, равные 4 и 3 соответственно, но компонента г
0)т. То же
0)т. То же
самое следует и из фор-
самое следует и из фор-
исчезнет, так что р = (4, 3, мулы (22):
ЛТЛ =ЛТЛ ="12"1215150"00"0"11 о"11 о21 = Г221 = Г25050777"297"29(ЛТЛ)"^|(ЛТЛ)"^|120 —7]120 —7]—7 2—7 2р =р =21 121 110105о5о99' 29—7' 29—7—71 И—71 И22221515О' 0О' 0"41 _ Г4П"41 _ Г4П333А3А
ЛТЛ =
ЛТЛ =
"1
2
"1
2
1
5
1
5
0"
0
0"
0
"1
1 о
"1
1 о
21 = Г2
21 = Г2
5
0
5
0
7
7
7"
29
7"
29
(ЛТЛ)"^|
(ЛТЛ)"^|
120 —7]
120 —7]
—7 2
—7 2
р =
р =
21 1
21 1
1
0
1
0
5
о
5
о
9
9
' 29
—7
' 29
—7
—71 И
—71 И
2
2
2
2
1
5
1
5
О' 0
О' 0
"41 _ Г4П
"41 _ Г4П
3
3
3
А
3
А
Можно сразу обратитьсяМожно сразу обратитьсяи к несовместной системе
Можно сразу обратиться
Можно сразу обратиться
и + 2и = 4,и + 5ц = 3,Ои 4~0ц = 9.
В этом случае лучшее из того, что мы можем сделать, это решить систему из первых двух уравнений (откуда находятся компоненты и и у вектора х) и игнорировать третье уравнение; ошибка в этом уравнении всегда будет равняться 9.
Отметим, что если вектор b принадлежит пространству столбцов матрицы, т. е. выражается в виде некоторой комбинации Ь = Ах столбцов матрицы, то проекция принимает вид
р = А (ЛТЛ)-1 АтАх = Ах = Ь. (23)
Таким образом, точка р совпадает с Ь, как и должно быть.
Противоположный случай возникает, когда вектор b ортогонален всем столбцам матрицы А. В этом случае b не только не лежит в подпространстве столбцов, но даже ортогонален ему. Тогда геометрические соображения показывают, что ближайшей точкой из подпространства является начало координат: вектор b имеет нулевую компоненту в разложении по подпространству и его проекция есть р = 0. Это подтверждается и вычислением х; столбцы матрицы А совпадают со строками Дт, и если вектор b ортогонален всем им, то ДТЬ = О. Поэтому
х = (ДТД)-1 АЛЬ = 0 и р = Ах = 0.
Заметим, что при проектировании на прямую мы приходим к формуле (17). Матрица А превращается в столбец а, матрица ЛТЛ есть число сАа и х в формуле (21) равен ^Ь/а^а, как и должно быть.
Упражнение 3.2.3. Используя нормальные уравнения, найти наилучшее решение в смысле метода наименьших квадратов для несовместной системы
Проделать то же самое для системы х=1, х = 3, х = 5, т. е.
Упражнение 3.2.4. (а) Пусть
О1О1О'1О'1
О
1
О
1
О'
1
О'
1
Записать Е2 = ||Лх — 6||2 и приравнять нулю производные по и и у. Сравнить получившиеся уравнения с А1 Ах= А^Ь. Это сравнение должно показать, что нормальные уравнения могут быть получены как из геометрии, так и из анализа, и они связаны непосредственно с минимизацией величины £2.
(Ь) Найти решение х и проекцию р = Ах точки b на пространство столбцов, (с) Проверить, что вектор b — р ортогонален к столбцам матрицы А.
МАТРИЦЫ ПРОЕКТИРОВАНИЯ
Выше было установлено, что ближайшая к b точка дается формулой р = А (Дт Д)-1 АТЬ. Эта формула является матричной записью для перпендикуляра, опущенного из точки b на пространство столбцов матрицы А. Матрица, описывающая эту конструкцию, называется матрицей проектирования и обозначается через Р;
Р = А (Д^)-1 Дт.(24)
Эта матрица проектирует любой вектор b на пространство столбцов матрицы А1). Другими словами, вектор р = РЬ является компонентой вектора b в пространстве столбцов матрицы, а ошибка b— РЬ является компонентой в его ортогональном дополнении. (Иначе говоря, /—Р также является матрицей проектирования: она проектирует произвольный вектор Ь на это ортогональное дополнение, и соответствующая проекция равняется (1 — Р)Ь — = Ь— РЬ.) Таким образом, мы имеем матричную формулу для разбиения вектора на две взаимно перпендикулярные составляющие: РЬ принадлежит пространству столбцов 91(A), а другая составляющая (/ — Р)Ь—левому нуль-пространству 97 (Ат), которое является ортогональным дополнением к пространству столбцов.
Введенные матрицы проектирования можно рассматривать как с геометрической, так и с алгебраической точек зрения. Они представляют собой семейство матриц с весьма специфическими свойствами и будут использоваться ниже как основные блоки при построении всех симметрических матриц. Поэтому прервем на время изложение метода наименьших квадратов и обратимся к этим свойствам.
3J. Матрица проектирования Р = А (ДТА)-1 Ат обладает двумя основными свойствами:
она является идемпотентной, т. е. Р2 = Р;
(И) она является симметрической, т. е. Р—Р7.
И обратно, любая матрица с этими двумя свойствами представляет собой матрицу проектирования на свое пространство столбцов.
Доказательство. Справедливость равенства Р2 = Р легко устанавливается с помощью геометрических соображений. Если мы начинаем с произвольного вектора Ь, то вектор РЬ будет лежать в подпространстве, на которое осуществляется проектирование. Поэтому при повторном проектировании, в результате которого мы получаем вектор Р(РЬ), или Р2Ь, ничего не изменяется: вектор уже принадлежит подпространству и РЬ = Р2Ь для всех Ь. Алгебраически это можно показать следующим образом:
Р2 = А ^А)'1 А1 А (АМ)-1 АТ = А ^А)-1 АТ = Р.
Для доказательства симметричности матрицы Р перемножим транспонированные матрицы в обратном порядке и воспользуемся тождеством (В-1)т = (В1)-1, которое приведено в упр. 3.1.7, для матрицы В = А"ТА:
рт = (Ат)т ((АМ)"1/ Ат = А ((АМ/)-1 Ат = Л(ЛМ)-МТ = Р.
х) Есть опасность спутать эти матрицы с матрицами перестановки, также обозначаемыми через Р. Однако опасность эта весьма мала, поскольку мы будем избегать одновременного использования обеих матриц на одной странице.
Чтобы показать это геометрически, представим себе два произвольных вектора Ь и с. Если Ь проектируется обычным способом, давая в результате вектор РЬ, а с проектируется на ортогональное дополнение, давая вектор (/ —Р)с, то эти две проекции являются взаимно ортогональными:
(JW U~PV = Ь^Р1 U —Р^ с = 0.
Поскольку это справедливо для любых векторов Ь и с, получаем, что
P^I — P^O, или pi = pip, или р = ^ртру = ртр
Следовательно, Р" = Р и матрица Р является симметрической.
Для доказательства обратного мы должны, используя свойства (i) и (ii), показать, что Р является матрицей проектирования на свое пространство столбцов. Это пространство состоит из всех комбинаций Рс столбцов матрицы Р. Для любого вектора Ь вектор РЬ обязательно лежит в этом пространстве, поскольку из правила умножения матриц следует, что он равен линейной комбинации столбцов матрицы Р. Кроме того, можно показать, что вектор ошибки Ь— РЬ ортогонален этому пространству: для любого вектора Рс из пространства столбцов свойства (i) и (ii) дают
ф — РЬУ Рс = ^(1 — P)J Рс = ЬТ <Р — Р^с = 0-(25)
Поскольку вектор Ь— РЬ ортогонален пространству столбцов, он и является искомым перпендикуляром, так что Р оказывается матрицей проектирования.
Упражнение 3.2.5. Пусть задан базис ut, «2 в подпространстве S трехмерного пространства и вектор Ь, не принадлежащий S:
«1 =«1 =1010'О'
«1 =
«1 =
1
0
1
0
2
1
С помощью матрицы А со столбцами иг и иг найти матрицу Р, осуществляющую проектирование на подпространство S. Вычислить проекции вектора b на S и на ортогональное дополнение S-1-.
■ Упражнение 3.2.6. (а) Показать, что если Р является матрицей проектирования, т. е. обладает свойствами (1) и (ii), то матрица / — Р также будет обладать этими свойствами.
(Ь) Показать, что если Pt и Рг являются матрицами проектирования на подпространства Sf и S2 и если Р1Р2 = РгР1 = 0, Р = Р1-1-Р2 также будет матрицей проектирования. Привести пример для матриц порядка 2.
Упражнение 3.2.7. Пусть Р —матрица проектирования на прямую в плоскости ху. Изобразить на рисунке, как будет действовать на произвольный вектор «матрица отражения» Н = 1 — 2Р. Объяснить геометрически и алгебраически, почему Нг = 1, •
Упражнение 3.2.8. Показать, что если вектор и имеет единичную длину, то матрица Р — ии^ ранга один будет матрицей проектрирования, т. е. будет обладать свойствами (1) и (И). Если и = а/||а||, то Р— матрица проектирования на прямую, определенную вектором а, и вектор РЬ оканчивается в точке р=ха: матрицы проектирования единичного ранга в точности соответствуют одномерным задачам о наименьших квадратах.
Упражнение 3.2.9. Какая матрица размера 2x2 проектирует плоскость ху на ось у?
ПОДГОНКА ДАННЫХ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ
Пустц мы выполняем серию экспериментов и предполагаем, что выходные данные у почти линейно зависят от входных данных I, т. е. y = C-V*Dt, например:
Через определенные промежутки времени мы измеряем расстояние до космической станции, летящей к Марсу. В этом случае / есть время, у есть расстояние и, если двигательная установка выключена, а гравитационные силы невелики, корабль будет двигаться почти с постоянной скоростью и; y = y0Jrut.
Мы можем изменять нагрузку, приложенную к конструкции, и контролировать возникающие в результате напряжения. В этом случае t является нагрузкой, а у—показаниями измерителя напряжений. Тогда если нагрузка не так велика, чтобы материал переходил в пластическое состояние, то у и / будут связаны обычным линейным соотношением у = С A-Dt теории упругости.
В вопросах экономики и бизнеса рассматриваются сложные взаимные связи между стоимостью продукции, объемом производства, ценами и прибылью. Несмотря на их сложность, в определенных пределах эти связи могут быть близки к линейным. Пусть, например, выпуск Ч экземпляров журнала обходится в сумму yv на следующей неделе выпуск /3 экземпляров обходится в у2 и т. д. Тогда издатель может оценить стоимость на следующую неделю, предположив, что у = С-\-О1 и оценив коэффициенты С и D по уже имеющимся данным. Коэффициент D, равный стоимости каждого дополнительного экземпляра и называемый предельной стоимостью производства, обычно важнее для издателя, чем накладные расходы С.
Вопрос состоит в том, как вычислить коэффициенты С и D по результатам этих экспериментов. Если соотношение действительно является линейным и ошибки в экспериментах отсутствуют, то вопрос решается просто: два измерения величины у при различных значениях t определяют прямую у = С A-Dt и результаты всех последующих измерений будут находиться на этой прямой. Но при наличии ошибки эти точки уже не будут попадать на прямую, и мы должны «осреднять» результаты всех эксперимен-
тов для отыскания оптимальной прямой. Причем ее не следует путать с прямой, на которую мы раньше проектировали вектор 6! Фактически, поскольку нужно определить две величины С и D, мы будем заниматься проектированием на двумерное подпространство. Задача о наименьших квадратах определяется результатами экспериментов
С + D/j = yv
С -V- Dtz = уе,
(26)
С + Dtm — ут.
Эта система является переопределенной, и при наличии ошибок она не будет иметь решения. Отметим, что вектор неизвестных х имеет две компоненты С и D:
или
(27)
Наилучшее в смысле метода наименьших квадратов решение минимизирует сумму квадратов ошибок; числа С и D выбираются из условия минимизации величины
Е2 = ^Ь-А> г2 = (У1-С-О/а2+ • ■ ■ +(ym-C-DtmY.
Пользуясь матричной терминологией, мы выбираем такой вектор х, что точка р = Ах является ближайшей к Ь. Из всех прямых вида y = C-VDt мы выбираем ту, которая наилучшим образом приближает опытные данные (рис. 3.5). На этом рисунке ошибками являются расстояния по вертикали до прямой, равные у—C—Dt, и именно эти расстояния мы возводим в квадрат, суммируем и минимизируем.
Пример. Пусть заданы результаты четырех измерений (рис. 3.5): z/ = 0при< = 0,у= 1при^ = 1,
z/=2при^ = 3,у = Ьпри/ = 4.
Отметим, что значения t не обязательно берутся через равные интервалы. Экспериментатор может выбирать любые подходящие значения (в том числе и отрицательные, если это допускается
Рис. 3.5. Аппроксимация прямой линией.Рис. 3.5. Аппроксимация прямой линией.
Рис. 3.5. Аппроксимация прямой линией.
Рис. 3.5. Аппроксимация прямой линией.
экспериментом), не изменяя при этом математических формулировок. В данном случае переопределенная система Ах = Ь имеет вид
Нам также понадобятся матрица А1 А и обратная к ней:
АТА =АТА =4 88 26 ’4 88 26 ’13 —4'—4213 —4'—42
АТА =
АТА =
4 8
8 26 ’
4 8
8 26 ’
13 —4'
—42
13 —4'
—42
Таким образом, оптимальная прямая задается уравнением 2.11,
У" ю+ю^
Замечание. Метод наименьших квадратов не предполагает, что мы должны приближать экспериментальные данные лишь с помощью прямых линий. Во многих экспериментах связи могут
быть нелинейными, и было бы глупо искать для этих задач линейные соотношения. Пусть, например, мы работаем с радиоактивным материалом. Тогда выходными данными у являются показания счетчика Гейгера в различные моменты времени t. Пусть наш материал представляет собой смесь двух радиоактивных веществ, и мы знаем период полураспада каждого из них, но не знаем, в какой пропорции эти вещества смешаны. Если обозначить их количества через С и D, то показания счетчика Гейгера будут вести себя подобно сумме двух экспонент), а не как прямая:
у = Се~и -VDe~№t. (28)
На практике, поскольку радиоактивность измеряется дискретно и через различные промежутки времени, показания счетчика не будут точно соответствовать формуле (28). Вместо этого мы имеем серию показаний yt, ..., ут в различные моменты времени tv ..., tm, и соотношение (28) выполняется лишь приближенно:
Се-Х,> 4-Z)e~^i a? yv
‘ (29)
Се~Мт + Z)e- №<m to ут.
Если мы имеем более двух показаний, m > 2, то разрешить эту систему относительно С и D практически невозможно. Но при использовании метода наименьших квадратов мы получим оптимальные значения С и D.
Ситуация будет совершенно иной, если нам известны количества веществ С и D и нужно отыскать коэффициенты X и ц. Это нелинейная задача о наименьших квадратах, и решить ее значительно труднее. Мы по-прежнему будем находить величину Е, равную сумме квадратов ошибок, и минимизировать ее. Но Е2 уже не будет многочленом второй степени относительно X и р, так что приравнивание нулю производных не будет давать линейных уравнений для отыскания оптимальных X и р. В упражнениях мы ограничимся рассмотрением только линейного случая метода наименьших квадратов.
Упражнение 3.2.10. Показать, что оптимальное приближение по методу наименьших квадратов набора измерений ух, ..., ут горизонтальной прямой, т. е. постоянной функцией у = С, представляет собой среднее арифметическое этих измерений:
С - + • ••‘УУтт '
(Ср. с упр. 3.2.1.) Говоря языком статистики, выбор у, минимизирующий функцию £2 = (г/1 — у)2+ ... + (ут—1/)2> представляет собой среднее значение выборки, а величина Е2 называется дисперсией и обозначается через о2.
Упражнение 3.2.11. Для следующего набора измерений найти оптимальное линейное приближение и изобразить его:
у = 2 при 1 =—1, у = 0 при # = 0,у = — 3 при /=1, у=—5 при / = 2.
Упражнение 3.2.12. Пусть мы приближаем указанные выше результаты измерений не с помощью прямой, а с использованием параболы y=C-\-DtA-Et2. Для несовместной системы Ах = Ь, образованной в результате четырех замеров, выписать матрицу коэффициентов А, вектор неизвестных х и вектор исходных данных Ь. Вычислять оптимальный вектор х не обязательно.
§ 3.3. ОРТОГОНАЛЬНЫЕ БАЗИСЫ,ОРТОГОНАЛЬНЫЕ МАТРИЦЫ
И ОРТОГОНАЛИЗАЦИЯ ГРАМА —ШМИДТА
Мы уже пытались показать важность свойства ортогональности при решении задач методом наименьших квадратов и продолжаем делать это. Но на самом деле свойство ортогональности является значительно более важным и содержательно более глубоким, чем это может показаться из его применения к методу наименьших квадратов. Каждый раз, когда я представляю себе плоскость ху или трехмерное пространство, воображение обязательно добавляет к картине набор координатных осей. Они дают нам отправную точку, называемую началом координат, причем эти воображаемые координатные оси всегда являются взаимно ортогональными. Выбирая базис в плоскости ху (что эквивалентно выбору координатных осей), мы стремимся выбрать ортогональный базис.
Если понятие базиса является одним из основных моментов при соединении геометрии векторных пространств с алгеброй, то выделение ортогонального базиса также легко объяснить. Базис необходим для перехода от геометрической конструкции к алгебраическим вычислениям, а ортогональный базис нужен нам для того, чтобы сделать эти вычисления более простыми. Существует еще одно ограничение, введение которого делает базис почти оптимальным: мы начинаем с набора взаимно ортогональных векторов и нормализуем их к векторам единичной длины. Это означает, что каждый вектор и из рассматриваемого набора делится на свою собственную длину и заменяется на вектор v/||u||. В результате ортогональный базис превращается в ортонормированный.
ЗК. Базис uv ...,«& называется ортонор мированным, если
(30)(30)т | 0 при i Ф j (свойство ортогональности'), 7 I 1 при 1 = ) (нормированность).
(30)
(30)
Наиболее важным примером этого является так называемый стандартный базис. В плоскости ху или в пространстве R" мы не только задаем взаимно перпендикулярные оси координат, но также отмечаем на каждой оси вектор единичной длины:
"Г010061 =, е2 ="Г010061 =, е2 ='0'1 о о'0'1 о о
"Г
0
1
0
0
61 =
, е2 =
"Г
0
1
0
0
61 =
, е2 =
'0'1 о о
'0'1 о о
L1J
Этот ортонормированный базис никоим образом не является единственным, поскольку мы можем поворачивать весь набор осей, оставляя неизменными прямые углы между ними. Ниже будут введены соответствующие этим поворотам матрицы вращений, называемые также ортогональными матрицами. С другой стороны, если мы рассматриваем не все пространство R", а лишь его подпространство, то «стандартные векторы» е, могут лежать вне этого подпространства. В этом случае существование даже одного ортонормированного базиса не столь очевидно. Но мы покажем, что такой базис всегда существует и что он легко может быть построен по произвольному базису. Эго построение, переводящее неортогональный набор осей в ортогональный, известно под названием ортогонализации Грама—Шмидта.
Итак, три основных пункта настоящего параграфа состоят в следующем:
Решение методом наименьших квадратов системы Ах = Ь, когда столбцы матрицы А являются ортонормированными.
Определение и свойства ортогональных матриц.
Процесс ортогонализации Грама—Шмидта и его интерпретация как нового способа разложения матриц.
ПРОЕКЦИИ И НАИМЕНЬШИЕ КВАДРАТЫ:ОРТОНОРМИРОВАННЫЙ СЛУЧАЙ
Пусть А —■ матрица размера т х п, и пусть ее столбцы являются ортонормированными. Тогда эти столбцы являются линейно независимыми, и мы знаем матрицу проектирования на пространство столбцов, а также решение х по методу наимень-
ших квадратов: Р = А (ДТЛ)-1 АТ и х —(ДТЛ)~Х А^Ь. Эти формулы не только справедливы для случая ортонормированных столбцов, но и становятся исключительно простыми, поскольку АТА превращается в единичную матрицу.
-1 0 . о~0 1.0-1 0 . о~0 1.0(31)(31)АЧА =АЧА =3L. Если столбцы матрицы А являются ортонормированными, то
-1 0 . о~
0 1.0
-1 0 . о~
0 1.0
(31)
(31)
АЧА =
АЧА =
оо . U
Это обстоятельство чрезвычайно упрощает алгебраические выражения, поскольку матрица Р и вектор х преобразуются к виду
Р = ААТ и х=АтЬ. ‘ (32)
Одновременно с этим «улучшается» и геометрия, поскольку простая алгебраическая формула должна иметь простое геометрическое истолкование. Когда оси координат взаимно перпендикулярны, проекция на пространство разлагается в сумму проекций на каждую из осей (рис. 3.6). Матрица проектирования принимает вид Р — а^ + ... + апа^;
Рис. 3.6. Проекция на плоскость равна сумме проекций на ортогональные оси ах и аа.Рис. 3.6. Проекция на плоскость равна сумме проекций на ортогональные оси ах и аа.
Рис. 3.6. Проекция на плоскость равна сумме проекций на ортогональные оси ах и аа.
Рис. 3.6. Проекция на плоскость равна сумме проекций на ортогональные оси ах и аа.
Сопрягающий член (ЛТЛ)~1 исчезает, так что р превращается в сумму п отдельных проекций.
Таким образом, мы получаем пять основных формул этой главы, которые полезно выписать вместе:
Ах = Ь—исходная система (возможно, несовместная)',
АТАх= АТЬ—нормальные уравнения для х;
р = Ах—проекция вектора b на пространство столбцов матрицы А;
Р = А (ЛТЛ)-1 Лт—матрица проектирования, даюицая вектор р = РЬ;
5. х = АТЬ и Р = А А1 = ауУ + ... + апа„—частный случай, ■ когда матрица А имеет ортонормированные столбцы.
Пример 1. Рассмотрим следующий простой, но типичный случай. Пусть точка Ь = (х, у, z) проектируется на плоскость ху. Ясно, что проекцией будет р = (х, у, 0), и она представляет собой сумму отдельных проекций на оси х и у.
«1 =
Ч" 0
, ауУЬ =
~х~ 0
;аг =
"0"
1
, ауУЬ =
"0"
У
0.
_0_
0.
_0_
Таким образом, матрица проектирования имеет вид
Ч
0
0"
х~
и
Р = ауУ + a2aj =
0
1
0
, или
Р
У
=
О
0
0_
_z_
Ы
Пример 2. Существует
один
случай линейного
приближения
данных, когда столбцы матрицы оказываются ортогональными. Если измерения bv Ьг и Ь8 производятся в моменты времени, симметричные относительно точки t = 0 (скажем, при tt =— 1, <2 = 0 и /3 = 1), то попытка построения приближения y = C-\-Dt приводит к трем уравнениям с двумя неизвестными:
С A-Dti = bt, или
С + D/3 = Ьг, C+Dt8 = b8,
Столбцы этой матрицы взаимно ортогональны. Они не являются ортонормированными, но легко могут быть сделаны таковыми — мы вычисляем их длины, равные Уз и У 2, и производим замену
Лх =Лх =неизвестных с = С V3, d = D J/2
Лх =
Лх =
1/УЗ — 1/К2
i/Кз о
1/1/31//2
Теперь ЛТЛ является единичной матрицей и решение по методу
наименьших квадратов выписывается непосредственно:
(-6l + f>s)/l/2 J [d(-6l + f>s)/l/2 J [d(34)(34)
(-6l + f>s)/l/2 J [d
(-6l + f>s)/l/2 J [d
(34)
(34)
Другими словами, коэффициенты С и D оптимальной прямой имеют вид
с ^i + ^H-^s г) d —ЬЛЦ-Ь3
/з з ’ V^ 2
Каждая из компонент С и D важна сама по себе. С есть среднее арифметическое данных, и этот коэффициент дает наилучшее приближение горизонтальной прямой, a Dt дает наилучшее приближение прямой, проходящей через начало координат. Поскольку столбцы матрицы ортогональны, сумма этих двух слагаемых дает наилучшее приближение в классе всех прямых линий.
Замечание. Изучение специальных свойств ортонормированного базиса часто дает полезный «побочный эффект». Обычный базис легче описать с помощью свойств, которыми он не обладает. Воображение ошибается, представляя каждый базис ортонорми- рованным. То же самое справедливо относительно специального свойства проекций, которое только что было нами отмечено, а именно, что в ортонормированном случае они представляют собой сумму п одномерных проекций. Интуиция подсказывает, что вектор можно представить в виде суммы его компонент по координатным осям, но что наличие этого представления зависит от ортогональности осей. Если ось х заменяется прямой у = х и вектор (0, 1) проектируется на эту прямую и на ось у, то сумма двух проекций отнюдь не совпадает с исходным вектором (0, 1).
Упражнение 3.3.1. (а) Выписать четыре уравнения для линейного приближения y = C-\-Dt следующих данных:
у =—4 при t =—2, у =—3 при 1 =—1, у = — 1 при /= 1, у= 0 при t = 2.
Показать, что столбцы соответствующей матрицы являются ортогональными и нормализовать их. Какой вид имеют неизвестные с и d в новой задаче Ах = Ь?
Найти оптимальную прямую, нарисовать ее и вычислить ошибку Е1.
Объяснить, почему для исходной системы из четырех уравнений с двумя неизвестными ошибка равняется нулю. Где по отношению к пространству столбцов матрицы находится вектор правой части b и чему равняется его проекция р?
Упражнение 3.3.2. Спроектировать вектор 6 = (0, 3, 0) на каждый из двух ортонормированных векторов ^ = (2/3, 2/3, —1/3), а2 = (—1/3, 2/3, 2/3) и найти его проекцию р на плоскость векторов щ, а2.
Упражнение 3.3.3. Найти проекцию вектора 6 = (0, 3, 0) на вектор а3=(2/3, —1/3, 2/3), сложить эту проекцию с двумя проекциями из предыдущего упражнения и объяснить получившийся результат. Почему Р = и1а1-- -V а2а^-\-a3al равняется единице?
ОРТОГОНАЛЬНЫЕ МАТРИЦЫ
Ортогональной называется квадратная матрица, имеющая ортонормированные столбцы1). Мы будем обозначать ортогональную матрицу буквой Q, а ее столбцы—буквами qv ..., qn. Установленное ранее соотношение QyQ — l является лишь другим выражением ортонормированности столбцов матрицы:
QTQ =QTQ =9i9iЯп =j LЯп =j L= 1.(35)= 1.(35)
QTQ =
QTQ =
9i
9i
Яп =
j L
Яп =
j L
= 1.(35)
= 1.(35)
Равенство (35) совпадает с (31), где мы получили соотношение А^А = 1, а матрица А не обязательно была квадратной.
В чем состоят отличия при квадратной матрице Q? Квадратная матрица с независимыми столбцами имеет полный ранг г = п, и она обратима; если матрица QT является левой обратной к ней, то она является и просто обратной. Другими словами, матрица QT одновременно является и правой обратной, т. е. QQ^ = 1.
ЗМ. Ортогональная матрица обладает следующими свойствами-.
0^ = 1, <№ = J U Q =Q-\ (36) Матрица Q имеет не только ортонормированные столбцы, как это требуется в ее определении, но также и ортонормированные строки. Другими словами, если Q —ортогональная матрица, то и QT будет ортогональной.
В Возможно, эти матрицы следовало бы назвать ортонормированными, но теперь уже поздно что-либо менять.
Последнее утверждение об ортонормированности строк немедленно получается из соотношения QQT=I. В произведении QQT участвуют скалярные произведения каждой строки матрицы Q на каждую другую строку, и, поскольку в результате получается единичная матрица, эти строки являются ортонормированными. Необходимо обратить внимание на этот замечательный факт. Вектор-строки имеют совершенно иные направления, чем вектор- столбцы, но они каким-то образом автоматически оказываются взаимно перпендикулярными при перпендикулярности столбцов.
Пример 1
Q =Q ='cos 9 —sin 9' sin 0 cos 9 ’'cos 9 —sin 9' sin 0 cos 9 ’QT=Q^ =QT=Q^ =cos 9 sin 9”— sin 9 cos 9 "cos 9 sin 9”— sin 9 cos 9 "
Q =
Q =
'cos 9 —sin 9' sin 0 cos 9 ’
'cos 9 —sin 9' sin 0 cos 9 ’
QT=Q^ =
QT=Q^ =
cos 9 sin 9”
— sin 9 cos 9 "
cos 9 sin 9”
— sin 9 cos 9 "
Матрица Q поворачивает каждый вектор на угол 9, а матрица QT поворачивает его в обратном направлении на угол —9.
Пример 2. Любая матрица перестановки Р является ортогональной, поскольку ее вектор-столбцы имеют единичную длину и ортогональны друг другу (в силу того, что единицы в столбцах расположены на различных местах):
если Р =если Р ="О1"О1ГО ’ГО ’то ^-1 = ЛТ =то ^-1 = ЛТ =1О1О
если Р =
если Р =
"О
1
"О
1
Г
О ’
Г
О ’
то ^-1 = ЛТ =
то ^-1 = ЛТ =
1
О
1
О
и
В первом случае, где матрица получена путем перестановки лишь
двух строк единичной матрицы, будет справедливо дополнительное свойство Р-1 = Р. В общем случае это не выполняется, как
строки матрицы. Отметим также, что матрица Р =строки матрицы. Отметим также, что матрица Р =не явне явпоказывает второй пример, где переставлены местами все три О
строки матрицы. Отметим также, что матрица Р =
строки матрицы. Отметим также, что матрица Р =
не яв
не яв
ляется матрицей вращения Q из первого примера, т. е. ее нельзя получить ни при каком значении 9. На самом деле матрица Р отображает каждую точку (х, у) в ее зеркальный образ (у, х) относительно прямой у = х, наклоненной под углом 45° к оси х. Таким образом, нельзя утверждать, что каждая ортогональная
матрица Q представляет собой чистое вращение.
Однако остается одно свойство, которым обладают и матрицы вращений Q, и матрицы перестановок Р, и вообще все ортогональные матрицы. Причем это свойство является как наиболее важным, так и наиболее характерным для ортогональных матриц:
3N. Умножение на ортогональную матрицу Q сохраняет длины-.
|| Qx || = || х || для любого вектора х,(37)
а также скалярные произведения:
(Qx)T (Qy) = Xх у для всех векторов х и у. (38)
Доказательство получается непосредственно: (Qx)T ^Qy^ = xxQTQy=xTIy = хТу. Если у = х, то это соотношение принимает вид ||Qx||2 = ||х||2, так что длины сохраняются, раз сохраняются скалярные произведения.
Пример. Для описанных выше вращений плоскости имеем
cosO —sin01 Гх1 ГхсозО— z/sin9sin9 cos9J [г/J — [х sin 9 +у cos 9
Длина вектора сохраняется, поскольку
'(х cos 0 —у sin 9)2 + (х sin 0 + у cos 9)2 = х2 + у1.
Упражнение 3.3.4. Пусть ft и Q2 — ортогональные матрицы, так что для них выполняются соотношения (36). Показать, что матрица ftft также является ортогональной.
Упражнение 3.3.5. Пусть и — единичный вектор. Показать, что матрица Q — I— 2ц«т является ортогональной. (Она называется преобразованием Хаусхолдера). Найти матрицу Q, если ы = (1, 1, О/К 3.
Упражнение 3.3.6. Подобрать третий столбец так, чтобы матрица
1//31//2
Q= MVз о
MV 3 -1//2
была ортогональной. Вектор, ортогональный остальным столбцам, должен быть единичным; в таком случае, насколько мы свободны в его выборе? Проверить, что одновременно становятся ортонормированными и строки матрицы.
Упражнение 3.3.7. Записав в явном виде выражение ^и, показать, что теорема Пифагора выполняется для любой комбинации x) = x1q1Jr ...-\-xnq„ ортонормированных векторов:
IIу II2 = xi+ ... + хп-
В терминах матриц это означает, что v=Qx, так что мы получаем новое и более наглядное доказательство того, что длины векторов сохраняются: liQxIMHI2-
Упражнение 3.3.8. Является ли ортогональной следующая матрица
- 1
1
1
1 '
1
2
2
2
2
_£
1
1
£
2
2
2
2
<2 =
1
1
£
?
1
2
— 2
2
2
_£
1
_£
£
_ 2
2
2
2 _
ОРТОГОНАЛИЗАЦИЯ ГРАМА —ШМИДТА
.Мы уже видели, какие преимущества несет в себе ортонорми- ровамность столбцов матрицы: для обращения матрицы Q нужно лишь транспонировать ее, и решение задачи о наименьших квадратах Ах = Ь сразу получается в виде х=АТЬ. Но во всех случаях мы были вынуждены начинать со слов: «Если столбцы матрицы являются ортонормированными...». Теперь мы хотим показать, как сделать их ортонормированными.
Эго можно сделать предварительно, до начала решения самой задачи. Для иллюстрации рассмотрим простейший пример. Пусть заданы два независимых вектора а и Ь, и мы хотим получить из них два взаимно перпендикулярных вектора v^ и и2. Естественно, что в качестве первого из них можно взять вектор а, т. е. v^ = a. Тогда задача состоит в отыскании перпендикулярного вектора. Но ведь именно с этого и начиналась данная глава: вектор b—р был перпендикулярен а, поскольку проекция вектора b на направление вектора а (вектор р) вычиталась из Ь. Таким образом, направление второй оси задается вектором
и„ = Ь —р = Ь=-а = Ьт-у,.(39)
a av{vi
Легко проверяется, что у^у2 = v^b—v!b = 0.
Чтобы сделать процесс Грама—Шмидта совершенно очевидным, предположим, что у нас имеется еще и третий линейно независимый вектор с. Идея остается в точности такой же. Мы вычитаем компоненты в разложении вектора с по направлениям vt и v2, которые уже нами получены-.
(40)(40)т тU1 с и2 с
(40)
(40)
Уз — у ту 1 " ту 2 •
у/У!У2*У2
Тогда вектор и3 автоматически оказывается перпендикулярен векторам vt и и2, например:
TТ
ТтТС т л
У1У3 = у1 Уу1 У1 — у1уа = °-
UjUl1^2
Фактически мы вычитаем из вектора с его проекцию на плоскость векторов а и Ь, но нам удобнее использовать уже имеющиеся взаимно перпендикулярные направления у, и у2. Проекция вектора с на плоскость равна сумме проекций этого вектора на направления ух и у2, и именно поэтому формула (40) оказывается столь простой. Отметим, что у3 не может быть нулевым вектором, поскольку в этом случае вектор с лежал бы в плоскости векторов а и Ь, что противоречит линейной независимости всех трех векторов. Разумеется, полученные векторы у,- являются лишь ортогональными, а не ортонормированными. Для превращения их в единичные векторы разделим каждый вектор на его длину:
Г, У2 у3
Этот процесс ортогонализации, дающий каждый новый вектор у,- путем вычитания кратных векторов yf, . ,.,y/_t, формулируется следующим образом:
30. Произвольный набор независимых векторов av . .., ап может быть преобразован в набор взаимно ортогональных векторов при помощи процесса Грама — Шмидта-, в качестве первого вектора берем у, = а, и затем строим каждый последующий вектор щ, ортогональный к векторам у., .. ., щ~г, по формуле
тт
y. = ti.^у,—...(41)
Для. любого номера i подпространство, порожденное исходными векторами av ...,а{, совпадает с подпространством, порожденным векторами ур ...,и;. В результате векторы q; = = у,-/|(У/|| оказываются ортонормированными.
Пример. Пусть заданы векторы
'Г
г
“О'
1
• О2 =
0
, а3 =
1
Д
_1
Тогда ut = av а вектор у2 вычисляется согласно (39):
тЙ2У1т«1»!тЙ2У1т«1»!11У2 = й2 —^ =У2 = й2 —^ =2J_212J_21
тЙ2У1
т«1»!
тЙ2У1
т«1»!
1
1
У2 = й2 —^ =
У2 = й2 —^ =
2
J_
2
1
2
J_
2
1
Третья перпендикулярная ось находится из уравнения (40):
азО1 _ 1У1 yt 2азО1 _ 1У1 yt 2тазОгТУ2У2тазОгТУ2У2_1_ 21£ ~ 3 ’4_1_ 21£ ~ 3 ’4
азО1 _ 1
У1 yt 2
азО1 _ 1
У1 yt 2
тазОг
Т
У2У2
тазОг
Т
У2У2
_1_ 21
£ ~ 3 ’
4
_1_ 21
£ ~ 3 ’
4
Окончательная система ортонормированных векторов имеет вид
Поскольку описанный алгоритм Грама—Шмидта является весьма простым и очевидным, должен существовать в равной степени простой и очевидный способ записи окончательного его результата. Поясним, как это можно сделать. Ситуация во многом близка к той, которая встречалась уже в методе исключения Гаусса, где элементарные операции выбирались естественным образом в процессе исключения, но выписывать заранее всю последовательность было бы очень неудобно. Для метода исключения удобная форма записи результата заключалась в разложении матрицы A = LU. В нашем же случае процесс Грама—Шмидта будет выражаться другим разложением матрицы А.
Так же как и для метода исключения, прием состоит в отыскании формул, выражающих исходные столбцы at матрицы через векторы q^ В рассмотренном выше примере можно записать
или
«2 = у ^1 + v2>
или
р^2'^1 + р^"2" 9а’
a3=4Ul + yV2 + V3>
или
аз = р^"2 Д+ Р^"6 ^2+ р^^Чз
Эта система уравнений так и просится быть записанной в матричном виде:
Исходная матрица А разлагается в произведение ортогональной матрицы Q и верхней треугольной матрицы R. Столбцы матрицы Q являются искомыми ортонормиро- ванными векторами, а элементы матрицы R получаются из соотношения (41). Оно дает выражение векторов а,-через комбинацию векторов у^ ..., У(, и нам нужно лишь заменить у, на HuJ] qt, у2 на IIу2II <?2 и т. д. Тогда а( будет комбинацией векторов qv . . . . ... qit а оставшиеся векторы qi+v . .., qn в нее не входят. Именно поэтому матрица R является верхней треугольной. Коэффициенты этой линейной комбинации записываются в i-м столбце матрицы R, причем элементы главной диагонали матрицы не равны нулю, поскольку вектор и; заменяется в (41) на ||у,-||<7(-, и на диагонали будет находиться ненулевой коэффициент ЦУ/Н1). Таким образом, матрица К обратима. Это дает основной результат данного параграфа:.
ЗР. Любая матрица А с линейно независимыми столбцами может быть разложена в произведение A = QR, где матрица Q имеет ортогональные столбцы, a R является верхней треугольной и обратимой матрицей. Если исходная матрица А была квадратной, то и матрицы Q и R будут квадратными, так что Q окажется ортогональной матрицей.
Используя разложение A-QR, легко решить задачу о наименьших квадратах Ах = Ь. Из (21) имеем
х = (ЛтЛ)-1 A^b = (7?TQTQZ?)-i RTQTb.
Но QTQ = I, поскольку столбцы матрицы Q являются ортонор- мированными. Следовательно,
x = (RTRy^ RTQTb = R-^QTb.(43)
Таким образом, вычисление решения х требует лишь подсчета произведения Q^b и обратной подстановки в системе с треуголь-
*) Нетрудно заметить, что в (42) на диагонали расположены длины векторов ||vz||.-
ной матрицей Rx=QTb. Предварительно выполненная ортогонализация избавляет нас от необходимости строить матрицу ЛТД и решать систему нормальных уравнений АТАх = АТЬ1У
Упражнение 3.3,9. Применить процесс Грама — Шмидта к ректорам
и записать результат в виде произведения A = QR.
Упражнение 3.3.10. Представить матрицу Д = Г ^ g | в виде QR,
Упражнение 3.3.11. Записать ортогонализацию Грама—Шмидта для векторов
в виде A = QR. Если заданы п векторов а,, каждый из которых имеет m компонент, то как будут выглядеть матрицы A, Q и R?
Упражнение 3.3.12. Для той же самой матрицы А и вектора 6 = (1, 1, 1)т решить задачу о наименьших квадратах Ах = b (используя разложение A = QR).
Упражнение 3.3.13. Пусть Д = 5Д. Найти простое выражение для матрицы Р, осуществляющей проектирование на пространство столбцов матрицы А.
Упражнение 3.3.14. Показать, что два шага тт
t'l СУ2 W
W = C=— 1’1, Ц3 = С0яг—уа
дают то же самое третье направление о3, что и формула (40). Это пример модифицированного алгоритма Грама — Шмидта, где для повышения устойчивости счета на каждом шаге вычитается лишь одна проекция.
ФУНКЦИОНАЛЬНЫЕ ПРОСТРАНСТВА И РЯДЫ ФУРЬЕ
Хотя этот короткий раздел и является дополнительным, он преследует важные цели, а именно:
ввести (причем впервые) понятие бесконечномерного пространства,
*) При этом мы выигрываем, но не в числе операций, которое на самом деле при использовании предварительной ортогонализации будет больше, а в численной устойчивости. По крайней мере это будет так, если перейти к модифицированному алгоритму Грама — Шмидта, описанному в упр. 3.3.14, или (лучше) к алгоритму Хаусхолдера из § 7.3.
перенести понятия длины и скалярного произведения с векторов у на функции /(х),
представить ряд Фурье функции / как сумму одномерных проекций; при этом ортогональными «столбцами», которые порождают пространство, будут синусы и косинусы,
применить ортогонализацию Грама—Шмидта к функциям 1, х, х1, .. .,
найти наилучшую линейную аппроксимацию функции/(х).
Попытаемся систематически рассмотреть эти вопросы, которые открывают новые возможности приложений линейной алгебры.
После изучения всех конечномерных пространств Rn естественно рассмотреть пространство R”, содержащее все векторы вида у = (и1, у2, у3, ...), имеющие бесконечное число компонент. Такое пространство окажется слишком «большим» для того, чтобы его можно было использовать, если на компоненты и, не наложить никаких ограничений. Лучше всего сохранить уже привычное определение длины как корня из суммы квадратов компонент и огра- кичиться лишь теми векторами, которые имеют конечную длину; бесконечный ряд
11у|12 = У14-У2 + у8+• • •(44)
должен сходиться, т. е. иметь конечную сумму. При этом мы сохраняем бесконечномерность векторов и включаем, например, вектор (1, 1/2, 1/3, . ..), но исключаем (1, 1/]/"2, \[V3, ...). Векторы конечной длины можно складывать друг с другом (поскольку ||f + ®ll^ ^ ||и|| + ||ю||), и умножать на скаляры, так что они образуют векторное пространство. Это знаменитое гильбертово пространство.
Понятие гильбертова пространства дает наиболее естественный способ введения бесконечного числа измерений при сохранении геометрии обычных евклидовых пространств. Эллипсы превращаются в бесконечномерные эллипсоиды, параболы переходят в параболоиды, и перпендикулярность прямых вводится совершенно аналогичным образом: векторы u = ^ov и2, ...) и w = ^wv w^, . . .) являются ортогональными, если их скалярное произведение равняется нулю,
итщ = и1ц>1 + и2гу2+и31У3 + ... =0.(45)
Эта сумма, естественно, конечна, и для любых двух векторов она удовлетворяет неравенству Шварца [цтш | ^ ||и|| ||т||. Значения косинуса даже в гильбертовом пространстве никогда не превосходят единицу.
Это пространство замечательно еще в одном отношении: оно является очень распространенным. Векторы гильбертова прост-
ранства могут превратиться в функции, и это приводит нас ко второму пункту.
Рассмотрим функцию /(x) = sinx на интервале 0^х^2л. Ее можно воспринимать как вектор с континуальным числом компонент, равных значениям синуса на всем отрезке. Естественно, что применить обычное правило суммирования квадратов для отыскания длины такого вектора невозможно. Поэтому суммирование естественным образом заменяется интегрированием-.
2л2л
||/|]2 = ^ (/(^))3dx = J (sinхУйх= л.(46)
оо
Наше гильбертово пространство превратилось в некоторое функциональное пространство: векторами являются функции, мы можем измерять их длину, и пространство содержит все функции, имеющие конечную длину, как в формуле (44). Это пространство не содержит функции F(x) = l/x, поскольку интеграл от 1/х2 расходится .
Та же самая идея замены суммирования интегрированием дает скалярное произведение двух функций: если /(x) = sinx и g(x) = = cos х, то
2л2л
Pg = J f (х)g(x)dx = J sinxcosxdx = 0.о0
Скалярное произведение по-прежнему связано с длиной соотношением fTf= ИПР, и выполняется неравенство Шварца: Jpg'll ^ ll/ll ||g||. Естественно, что две функции, скалярное произведение которых равняется нулю (как sin х исозх), будут называться ортогональными. Если разделить их на длину j/л, то они будут даже ортонормированными.
Рядом Фурье функции у^ называется разложение этой функции по синусам и косинусам:
у (х) == а0+«! cosx + ^j sinx + a2 cos 2x-f-^2 sin 2x-j-... .
Для вычисления любого коэффициента, скажем bv умножим обе части на соответствующую функцию (здесь на sinx) и проинтегрируем от 0 до 2л. Другими словами, мы вычисляем скалярное произведение обеих частей на sinx:
2л2л2л
у(х) sinxdx = a0 ^sinxdx+«i ^ cosхsinxdx+ оoo
2л
+ ^i (sinx)2dx + * • • ♦ о
Все интегралы в правой части, кроме одного, будут равны нулю. Единственный ненулевой интеграл получается при умножении sin х на себя. Это означает, что синусы и косинусы попарно ортогональны. Таким образом, коэффициент при функции /(x) = sinx равен ’ 2л
у (х) sin х dx
6i = -^= рр или61sinx = ^/:.(47)
(sin х)2 dx
о
— Ь1 а X = -=г- а1 а— Ь1 а X = -=г- а1 аИЛИИЛИЭти вычисления производятся для того, чтобы увидеть аналогию с проекциями. Компонента в разложении вектора Ь, лежащая на прямой, порожденной вектором а, была вычислена в начале главы:
— Ь1 а X = -=г- а1 а
— Ь1 а X = -=г- а1 а
ИЛИ
ИЛИ
— (Ла р — ха = -^-а. fаТа
Для ряда Фурье мы проектируем функцию у на функцию sinx, и компонента р по этому направлению в точности совпадает с членом /\sinx. Коэффициент bt является решением по методу наименьших квадратов для несовместного уравнения ^з'1пх = у. Другими словами, мы выбираем функцию 6, sinx как можно ближе к функции у (см. упр. 3.3.16). То же самое верно и для остальных членов ряда: каждый из них является проекцией функции у на синус или косинус. Поскольку эти синусы и косинусы являются взаимно ортогональными, ряд Фурье дает координаты «вектора» у по набору (бесконечного числа) взаимно перпендикулярных осей.
Существует масса других полезных функций, отличных от синуса и косинуса, и они не всегда являются ортогональными. Простейшими из них являются многочлены, и, к сожалению, не существует интервала, на котором даже первые три координатные оси, т. е. функции 1, х, х2, были бы взаимно перпендикулярными. (Скалярное произведение 1 на х2 всегда положительно, поскольку оно равняется интегралу от х2.) Поэтому ближайшая к функции у (х) парабола не будет суммой проекций на 1, хи х2. Здесь будет присутствовать сопрягающий член, аналогичный (ЛТА)~1 для матричного случая, и фактически это сопряжение осуществляется при помощи плохо обусловленной матрицы Гильберта,
рассмотренной в у пр.
1.5.11.
На отрезке 0^
:х<
1 имеем
" 1Т1 1тх
1тх2
р
И г. ill
1 Т "з
АТА =
ХТ1 хтх
хтх2
- 4 р
р
- 1 J. 1
"”234
(х2)т 1 (х2)тх
(х2)тх2
. р
Jx4
1 J- 1
_ L 3 4 5_
Элементы обратной матрицы будут велики, поскольку оси 1, х, х2 далеко не перпендикулярны. Даже для современной ЭВМ ситуация становится безнадежной, если мы добавим еще несколько осей; решить систему нормальных уравнений АТАх=АТЬ для отыскания многочлена наилучшего приближения десятой степени практически невозможно.
Точнее говоря, невозможно решить эту систему методом исключения Гаусса, поскольку все ошибки округления будут возрастать более чем в 1013 раз. С другой стороны, мы не можем отказаться от возможности осуществлять аппроксимацию при помощи многочленов. Правильный подход состоит в переходе к взаимно ортогональным осям при помощи ортогонализации Грама—Шмидта: мы ищем комбинации функций 1, х, х2, являющиеся ортогональными.
Нам удобнее перейти к симметрично расположенному отрезку, например — l^x^l, поскольку при этом нечетные степени х становятся ортогональными к четным:
1 1
lTx = ^ xdx = 0, хтх2= J x3dx = 0.
-1 -1
Следовательно, можно начать процесс Грама—Шмидта, положив y^l, у2 —х в качестве первых двух перпендикулярных осей, так что остается лишь скорректировать угол между 1 и х2. Пользуясь формулой (40), получаем третий ортогональный многочлен в виде
1
J х- dx
-1
Построенные таким способом многочлены называются многочленами Лежандра, и они взаимно ортогональны на отрезке — 1 ^ х ^ 1.
Проверка.
1Т fx3—f fx2 ——41 l = 0.\ о / J^ \ о / Lо J —1
Теперь нетрудно вычислить многочлен наилучшего приближения десятой степени, осуществляя проектирование на каждый из первых десяти (или одиннадцати) многочленов Лежандра.
Пусть на отрезке O^x^l задана функция /(х) = |/ х, и мы хотим приблизить ее прямой линией у = С -\-Dx. Существуют по крайней мере три способа отыскания этой наилучшей прямой, и, если сравнить их друг с другом, это может прояснить содержание всей главы!
Минимизировать
1
Е2 = C(^x-C-Dx)2dx = 1—4 с-4 D+C2 + CD+^.
о
Приравнивая нулю производные, получаем
дС “и, 9D —5+С+3—и.
Отсюда получаем решение С = 4/15, 0 = 4/5.
Решить систему [1 х] ^д^ —[Кх], или Ay = f, методом наименьших квадратов.
АТА =АТА =1Т1хг11Т1хг11тх1ХТХ I1тх1ХТХ I1 -L-2 3_1 -L-2 3_АЧ =АЧ =1т/х" хтУ х_1т/х" хтУ х_(ДтД)-1 =гз-]зLb J(ДтД)-1 =гз-]зLb J4 —6—6 124 —6—6 12
АТА =
АТА =
1Т1
хг1
1Т1
хг1
1тх1
ХТХ I
1тх1
ХТХ I
1 -L
-2 3_
1 -L
-2 3_
АЧ =
АЧ =
1т/х" хтУ х_
1т/х" хтУ х_
(ДтД)-1 =
гз-]з
Lb J
(ДтД)-1 =
гз-]з
Lb J
4 —6
—6 12
4 —6
—6 12
Решение нормальной системы имеет вид
у = (Дт Д)-1 ATf,илиу = (Дт Д)-1 ATf,илиСD.СD.Г2 ~132L 5_Г2 ~132L 5_Г_41154-5 JГ_41154-5 J
у = (Дт Д)-1 ATf,или
у = (Дт Д)-1 ATf,или
С
D.
С
D.
Г2 ~1
3
2
L 5_
Г2 ~1
3
2
L 5_
Г_41
154
-5 J
Г_41
154
-5 J
Применить процесс Грама—Шмидта для получения второго столбца х—1/2, ортогонального первому столбцу;
6*6*1Т 4) = $ у) dx = O.1Т 4) = $ у) dx = O.
6*
6*
1Т 4) = $ у) dx = O.
1Т 4) = $ у) dx = O.
Тогда проекция функции V х равна
Упражнение 3.3.15. Найти длину вектора и = (1/]/'2, 1/^4, 1/1^8, ...) и функции Цх) = ех (на отрезке 0<х<1). Чему равняется скалярное произведение функций ех и е-х на этом отрезке?
Упражнение 3.3.16. Приравнивая нулю производную, найти значение Ь^ минимизирующее 2л
|| bi sin х— у||2 = (Z>i sin х—у^Уйх.о
Сравнить с коэффициентом Фурье (47). Если j/(x) = cosx, то чему будет равен 6t?'
Упражнение 3.3.17. Найти коэффициенты Фурье а0, alt Ьг для ступенчатой функции у (х), равной 1 на отрезке 0 <х< л и 0 на интервале л < х < 2л: у11у1 cos х , уТ sin х
1 1(cos х) cos х(sin х) sin X
Упражнение 3.3.18. Найти следующий многочлен Лежандра, т. е. кубический многочлен, ортогональный к 1, х и х2—1/3.
Упражнение 3.3.19. Как выглядит прямая наилучшего приближения для параболы y = xi на отрезке —1^х<1?
§ 3.4. ПСЕВДООБРАЩЕНИЕИ СИНГУЛЯРНОЕ РАЗЛОЖЕНИЕ
Чему равно оптимальное решение х несовместной системы Ах = № Мы еще не получили окончательного ответа на этот основной вопрос всей главы. Теперь мы собираемся сделать это. Наша цель состоит в указании правила, с помощью которого мы находим вектор х по заданной, матрице коэффициентов А и правой части Ь.
Эта цель уже наполовину достигнута, поскольку мы знаем, чему равен вектор Ах. Для произвольного х вектор Ах обязательно лежит в пространстве столбцов матрицы А; он является комбинацией столбцов с компонентами вектора х в качестве весов. Поэтому оптимальный выбор Ах представляет собой точку р в пространстве столбцов, ближайшую к заданной точке Ь. Этот выбор минимизирует ошибку Е=ЦАх—Ь\\. Другими словами, наи-
лучшая стратегия заключается в проектировании вектора b на пространство столбцов:
Ах = р = РЬ.(48)
В большом числе случаев (я думаю, что они включают большинство практических задач) этого уравнения достаточно для отыскания вектора х. (Оно является другой формой записи нормального уравнения AIAx = AIb, которое возникало в 31 при минимизации ошибки Е.) Естественно, что вектор х будет определен лишь в том случае, когда существует только одна комбинация столбцов матрицы А, дающая вектор р; веса этой комбинации и определяют вектор х. Это соответствует «единственности», описанной в гл. 2, и мы знаем несколько эквивалентных условий для того, чтобы уравнение Ах = р имело единственное решение:
столбцы матрицы А линейно независимы,
нуль-пространство матрицы А содержит только нулевой вектор,
(Hi) ранг матрицы А равен п,
(iv) квадратная матрица АТА является обратимой.
Для этого случая единственное решение уравнения (48) уже изучалось нами в течение всей главы:
х = (ДтД)-1 АЧ.(49)
Эта сравнительно простая формула включает в себя наиболее простой случай — когда матрица А действительно обратима. Тогда вектор х совпадает о единственным решением исходной системы Ах = Ь; х = Д-1(Лт)-1 АЧ =А-1Ь.
Это обстоятельство дает другой способ для описания нашей цели: мы пытаемся определить псевдообратную Д+ к матрице, которая может не быть обратимой1). Если матрица обратима, то, естественно, А+ = А-1. Когда исходная матрица удовлетворяет перечисленным выше условиям (i)— (iv), псевдообратной является левая обратная матрица из формулы (49): А* =(АТД)-1 Ат. Но если условия (i) — (iv) не выполняются и вектор х определяется из системы Ах = р не единственным образом, понятие псевдообратной матрицы еще подлежит определению. Мы должны выбрать один из многих векторов, удовлетворяющих системе Ах = р, и
Матрица Л+ также называется обратной матрицей Мура —Пенроуза, поскольку именно они ввели это понятие, или обобщенной обратной к А. Однако название «обобщенная обратная» часто применяется к другим матрицам, которые обладают не всеми свойствами матрицы А + . Именно поэтому мы н пользуемся термином «псевдообратная».
166 Гл. 3. Ортогональные проекции и метод наименьших квадратов этот выбор по определению будет считаться оптимальным решением х = А*Ь несовместной системы Ах — Ь.
Выбор осуществляется по следующему правилу: оптимальным среди всех решений системы Ах = р является решение с минимальной длиной. Для его отыскания вспомним, что пространство строк и нуль-пространство матрицы А представляют собой ортогональные дополнения друг к другу в пространстве R". Это означает, что любой вектор может быть разложен на две перпендикулярные составляющие — проекцию на пространство строк и проекцию на нуль-пространство. Применим это разложение к одному из решений (обозначим его через х0) системы Ах = р. Тогда х„ = = хг + ш, где х, принадлежит пространству строк, а w— нуль- пространству. Здесь возникают три существенных момента:
Компонента хг сама является решением системы Ах = р: поскольку Лоу = О, имеем
Ах, = А (хг + су) = Ах0 = р.
Все решения системы Ах=р имеют одну и ту же компоненту х, в пространстве строк и отличаются лишь компонентой из нуль-пространства. «Общее решение равняется сумме частного решения (в данном случае это х,) и произвольного решения однородного уравнения».-
Длина такого решения х,+ю удовлетворяет теореме Пифагора, поскольку две компоненты взаимно ортогональны:
Рг + ®Р = Й|Р + 1Ы/2-
Отсюда мы заключаем, что решением с минимальной длиной является вектор х,. Нам следует приравнять компоненту из нуль- пространства нулю, оставив решение, целиком принадлежащее пространству строк.
3Q. Оптимальным решением по методу наименьших квадратов произвольной системы Ах = Ь является вектор х, (или х, если вернуться к исходным обозначениям), определяемый двумя условиями:
вектор Ах равняется проекции вектора b на пространство столбцов матрицы А,
вектор х принадлежит пространству строк матрицы А. Матрица, «решаюш-ая-» систему Ах = Ь, является псевдообравной к А матрицей А + , и она определяется уравнением х= А+Ь.
Легче всего понять смысл псевдообратной матрицы из геометрических соображений. Для этого мы вновь обратимся к четырем основным подпространствам матрицы (рис. 3.7).
Рис. 3.7. Матрица Л и ее псевдообратная Л+,
Матрица А* сочетает в себе результат применения двух отдельных шагов: она проектирует b на р и выбирает единственный вектор х из пространства строк матрицы, являющийся решением системы Ах = р. Один крайний случай возникает, когда вектор b перпендикулярен пространству столбцов матрицы, т. е. когда вектор b лежит в левом нуль-пространстве. Тогда р = 0 и х = 0: матрица А* переводит все векторы из 91 (Дт) в нуль. Другая крайность состоит в том, что вектор b может лежать целиком в пространстве столбцов; тогда р = Ь и решение х находится путем «обращения» матрицы А. (Мы уже отмечали в 2Z, что матрица А обратима, если рассматривать ее просто как отображение из ее пространства строк в пространство столбцов; обратной будет матрица Л + .)
Произвольный вектор Ь разбивается в соответствии с этими двумя предельными случаями: компонента р обращается, давая вектор х, а другая компонента b — р аннулируется. Из этого описания и из рис. 3.7 можно вывести некоторые основные свойства псевдообратной матрицы:
Матрица А+ имеет размер пхт. Она применяется к вектору b из R™ и дает вектор х из R".
Пространство столбцов матрицы А* совпадает с пространством строк матрицы А, а пространство строк матрицы А* сов-
падает с пространством столбцов А. (В качестве важного следствия получаем, что г (Д+) = г (Л).)
Псевдообратная к матрице А* есть матрица А.
В общем случае АА*=/=/, поскольку матрица А может не иметь правой обратной, но матрица АА* всегда совпадает с матрицей Р, осуществляющей проектирование на пространство столбцов:
АА+Ь = Ах = р = РЬ,или АА* = Р. (50)
Пример 1. МатрицаПример 1. МатрицаП 0П 0А = 0 1А = 0 10 00 00" 00_0" 00_
Пример 1. Матрица
Пример 1. Матрица
П 0
П 0
А = 0 1
А = 0 1
0 0
0 0
0" 0
0_
0" 0
0_
не является обратимой. Ее пространство столбцов и пространство строк совпадают с плоскостью ху в R8, которая содержит все векторы вида (х, у, 0). Нуль-пространством является ось г, и, разумеется, оно ортогонально пространству строк. Отыскание вектора х начинается с проектирования b на пространство столбцов:
'1 0 0" 0 1 0 .0 0 0.'1 0 0" 0 1 0 .0 0 0.Затем мы решаем систему Ах = р, т. е.
'1 0 0" 0 1 0 .0 0 0.
'1 0 0" 0 1 0 .0 0 0.
(51)(51)"ь;ь2о
(51)
(51)
Решение выписывается легко: xt = bv хг = Ьг и х3 произвольно. Из этого бесконечного семейства решений мы выбираем одно,
имеющее минимальную длину, полагая третью компоненту х3 равной нулю. Это дает вектор х= (b^ ba, 0)т, лежащий в пространстве строк (т. е. в плоскости ху), как и должно было быть,
находим псевдообратную мат-находим псевдообратную мат-согласно теории. Наконец, мы рицу А+:
находим псевдообратную мат-
находим псевдообратную мат-
Г1 0 0"|
0 1 0.0 0 0.
В нашем случае матрица А* совпадает с А. Это происходит потому, что матрица А действует подобно единичной матрице
при отображении своего пространства строк в пространство столбцов, а все остальное для псевдообратной матрицы несущественно.
Подведем итог сказанному выше. Оптимальное решение несовместной системы Ах = Ь*
Xi + 0х2 + 0х3 = bv0хх + x24-0x3 = b2,Ох,- + 0х2 + 0х3 = Ь3
заключается в том, что мы находим решение первых двух уравнений и полагаем х, = 0.
Пример 2. Пусть
'р, 0 0 О'
А = 0 р2 0 0
0 0 0 0
где Pi > 0, р2 > 0. Пространство столбцов этой матрицы вновь совпадает с плоскостью ху, так что проектирование вектора b опять приводит к аннулированию его компоненты вдоль оси г: р = РЬ = (6,, Ьг, 0)т. Система Ах = р принимает вид
"р, 0 00 р2 00 0 0"р, 0 00 р2 00 0 00" о о0" о оVЬ»VЬ»
"р, 0 0
0 р2 0
0 0 0
"р, 0 0
0 р2 0
0 0 0
0" о о
0" о о
V
Ь»
V
Ь»
Х =Х =bj^ Ь3/^2bj^ Ь3/^2или А +Ь =или А +Ь ="рГ1 0 О'] ГТ?!"рГ1 0 О'] ГТ?!0 рг' о0 рг' оо оо оо оо оо оо 0.о оо 0.Ь.ь.Ь.ь.Эти два примера являются типичными для всего семейства матрцд специального вида, имеющих в качестве первых г элементов главной диагонали положительные числа ри ..., рг и остальные элементы которых равняются нулю. Если обозначить такую матрицу через 2, то псевдообратная к ней вычисляется
Х =
Х =
bj^ Ь3/^2
bj^ Ь3/^2
или А +Ь =
или А +Ь =
"рГ1 0 О'] ГТ?!
"рГ1 0 О'] ГТ?!
0 рг' о
0 рг' о
о о
о о
о о
о о
о о
о 0.
о о
о 0.
Ь.
ь.
Ь.
ь.
в точности так же, как и в приведенных примерах:
2 = rp.j ”1 и 2+ = Г"|д,-1"1,
L HrJ
Если матрица S имеет размер тхп, то S+ будет иметь размер пхт. Легко видеть, что ранг матрицы S+ равен рангу S (т. е. г) и что псевдообратная к 2 + совпадает с 2: (2+)+ = 2.
Эти простые матрицы гораздо полезнее, чем может показаться, поскольку они дают новый способ для разложения матрицы А. Такое разложение называется сингулярным разложением, и оно отнюдь не столь известно, как того заслуживает.
3R. Произвольная матрица размера тхп может быть представлена в виде 4 = Qi2QJ, где QT есть ортогональная матрица размера тхт, Q2 — ортогональная матрица размера пхп, а матрица 2 имеет специальную диагональную форму, описанную выше.
Числа р; называются сингулярными числами матрицы А. Это разложение немедленно приводит к явной формуле для псевдо- обратной матрицы—результат, которого нам так не хватало. Для этого частного случая (но не для общего—см. формулу (60) ниже) мы собираемся «псевдообратить» все три сомножителя по отдельности и затем перемножить их, как обычно, в обратном порядке. Поскольку обратная к ортогональной матрице совпадает с транспонированной, формула будет иметь вид
4 + = Q22+Q1T. (52)
Эта формула легко доказывается непосредственно из принципа наименьших квадратов. Умножение на ортогональную матрицу Qi не изменяет длину вектора (согласно 3N), так что минимизируемая ошибка имеет вид
|| Ах—Ь || = |i Q Жх -b || = || SQjx —Qib ||. (53)
Введем новый неизвестный вектор y=Qlx=Qa1x, длина которого совпадает с длиной вектора х. Тогда мы будем минимизировать величину || Si/ — QF& ||, и оптимальное решение у (т. е. решение с минимальной длиной) имеет вид y = 2+Qf6. Следова-
тельно,тельно,
тельно,
тельно,
x = Q2y = Q.^Qlb,илиA* = Q^QI^.(54)
Доказательство справедливости приведенного сингулярного разложения основано на главном результате из гл. 5: для симметрической матрицы вида А1 А существует ортонормированный набор «собственных векторов» хп ...,хп (которые образуют столбцы матрицы Q2):
A^Ax^XjX,, причем x]xt=\ и х}хг = 0 для j^i. (55а)
Умножая скалярно на хь получаем, что Х^^О:
хЧА1 Ах1 = Х{х)хь или ||1|3 = X,-.(55b)
Предположим, что числа Xv ...,ХГ положительны, а остальные п—г векторов Ах,- и чисел X; равны нулю. Для положительных X,- положим \Xi = V"Xt и yt = Ах^у^. Из (55b) следует, что У( являются единичными векторами, причем ортогональными (что вытекает из (55а)):
- xJ^Axi Xjxjxj nyiUi— „.„. — „.„. — u Для
Следовательно, мы имеем систему г ортонормированных векторов, которая может быть расширена до полного ортонормированного базиса yv ...,уп ...,ут, образующего столбцы матрицы Qt, при помощи процедуры Грама — Шмидта. Тогда элементами матрицы QIAQa будут числа у]Ахь равные нулю при i > г (поскольку в этом случае Дх,- = 0) и равные у^у^ при i^r. Последние равняются нулю при ]^1 и pi, при j = i. Другими словами, матрица Q[XQ2 в точности совпадает со специальной матрицей 2, у которой на главной диагонали расположены числа р,. Следовательно, А = QjSQa7. Матрицы вращения Qt и Q2 поворачивают пространство столбцов матрицы А до совпадения с пространством строк, так что матрица А переходит в диагональную матрицу 2.
Пример 3. Если А есть вектор-столбецПример 3. Если А есть вектор-столбец'3"4'3"4тотоматрицей первого порядка [25], и ее единственный вектор равен х = [1]. Это и есть матрица Q2. Затем ГЗ/5"'матрицей первого порядка [25], и ее единственный вектор равен х = [1]. Это и есть матрица Q2. Затем ГЗ/5"'Х = 25, р = 5 и ух = Ах!у =Х = 25, р = 5 и ух = Ах!у =4/5_4/5_. Второй столбец. Второй столбецАТА будет собственный мы находим матрицы QxАТА будет собственный мы находим матрицы Qx
Пример 3. Если А есть вектор-столбец
Пример 3. Если А есть вектор-столбец
'3"4
'3"4
то
то
матрицей первого порядка [25], и ее единственный вектор равен х = [1]. Это и есть матрица Q2. Затем ГЗ/5"'
матрицей первого порядка [25], и ее единственный вектор равен х = [1]. Это и есть матрица Q2. Затем ГЗ/5"'
Х = 25, р = 5 и ух = Ах!у =
Х = 25, р = 5 и ух = Ах!у =
4/5_
4/5_
. Второй столбец
. Второй столбец
АТА будет собственный мы находим матрицы Qx
АТА будет собственный мы находим матрицы Qx
:) На практике бывает полезно выделить очень маленькие числа щ и заменить их нулями. В противном случае ошибки округления или эксперимента легко могут дать, например, число ur = 10-6, так что р71 = Юв и псевдооб- ратная матрица окажется «плохой». Это свидетельствует о крайней неустойчивости ранга и, следовательно, псевдообратной матрицы.
должен быть ортогонален к yv так что
QIaq,=QIaq,=-3^54-5-3^54-5Ап 5__3 5-Ап 5__3 5-"з"1 [1] = ГбП =2."з"1 [1] = ГбП =2.44оо
QIaq,=
QIaq,=
-3^
5
4
-5
-3^
5
4
-5
Ап 5
__3 5-
Ап 5
__3 5-
"з"1 [1] = ГбП =2.
"з"1 [1] = ГбП =2.
4
4
о
о
Это и есть требуемая диагональная форма. Псевдообратной к столбцу 2 является строка 2+ = [1/5 0], так что окончательно имеем А = Q^+Q^ = [3/25 4/25]. Отметим, что А*А = 1\ в данном примере ранг равен г = п=1, так что псевдообратная является левой обратной матрицей.
Разумеется, сингулярное разложение требует отыскания ортогональных матриц Qt и Q2, что, как правило, невозможно осуществить при помощи операций над строками. Ближе по духу к нашему изложению было бы попытаться вычислить вектор х непосредственно из сомножителей L и U метода Гаусса. Результат напоминает (У-1/.-1-разложение матрицы А-1, и, поскольку найти его где-либо невозможно, мы приведем полное доказательство, которое, разумеется, при чтении можно опустить1).
Идея состоит в отбрасывании нулевых строк матрицы (7, как это уже делалось на стр. 120. Если матрица А имеет ранг г, то таких строк будет т— г. Одновременно мы отбрасываем также и последние m—г столбцов матрицы L, или матрицы P^L, если в процессе исключения придется делать перестановки строк матрицы. Обозначим через U оставшуюся от U матрицу размера гхп, а через L—оставшуюся от L матрицу размера тхг.
Пример 4 (когда ранг г равен 2).
А =А ="123"1232"572"57"123"1230110110"010"01"10 о"10 о2" =102" =10'123'123он [1он [11 [О11 [О121 = LU.21 = LU.11
А =
А =
"1
2
3
"1
2
3
2"
5
7
2"
5
7
"1
2
3
"1
2
3
0
1
1
0
1
1
0"
0
1
0"
0
1
"1
0 о
"1
0 о
2" =
1
0
2" =
1
0
'1
2
3
'1
2
3
он [1
он [1
1 [О
1
1 [О
1
21 = LU.
21 = LU.
1
1
Последний столбец матрицы L—который умножается лишь на последнюю строку матрицы U —устраняется без изменения скалярного произведения: LU — LU. Отметим два существенных обстоятельства:
U есть матрица размера гхп и ранга г. Ее пространство строк совпадает с пространством строк матрицы U, поскольку мы удаляем лишь нулевые строки. Следовательно, пространства строк матриц U и А совпадают.
L есть матрица размера mxr, и она также имеет ранг г; матрица L (и матрица Р так же) обратима, так что ее первые г столбцов являются линейно независимыми. Как отмечалось в § 2.6, пространства столбцов матриц L и А совпадают.
При помощи разложения A = LU мы можем, наконец, явным образом построить матрицу А + :.
Псевдообратная к произвольной матрице размера тхп дается формулой
A+^U\U UT)-l(L7L)-^LT.(56)
Наша цель — проверить, что вектор А+Ь является оптимальным решением х задачи о наименьших квадратах Ах=Ь. Это и будет служить доказательством правильности формулы (56). Как отмечалось выше, вектор х должен удовлетворять двум условиям: он должен лежать в пространстве строк матрицы А, и вектор Ах должен равняться проекции р вектора b на пространство столбцов. Поэтому доказательство заключается в сопоставлении этих свойств с двумя свойствами (для матриц U и L), приведенными выше.
(1') Если записать вектор А*Ь в соответствии с (56), то он будет произведением матрицы tn (в левой части формулы) и некоторого вектора у. Другими словами, он будет комбинацией столбцов матрицы Ш. Поскольку эти столбцы являются строками матрицы U, вектор А+Ь принадлежит пространству строк матрицы U, т. е. пространству строк матрицы А. Таким образом, первое условие выполняется.
Умножая А+Ь на матрицу А, мы надеемся получить вектор р:
AA+b^tjLU^U1^!)^-1 (DZ)"1 LT&] = L (DL)-1 Vb. (57)
Ho L(LTL)-1LT в точности совпадает с матрицей проектирования на пространство столбцов матрицы L. Следовательно, формула (57) дает вектор р = РЬ. Таким образом, вектор А*Ь удовлетворяет обоим условиям оптимальности решения, и справедливость формулы (56) установлена.
Упражнение 3.4.1. Найти псевдообратную к нулевой матрице А=0 размера т X п и объяснить ход рассуждений при этом.
Упражнение 3.4.2. Для матрицы ранга 1 разложения A = LU и А — иП совпадают: оба они являются произведениями вектор-столбца на вектор-строку.
вычислить матрицу А+ и вектор х. Спроектировав вектор b на пространство столбцов, показать, что Ах = р.
Упражнение 3.4.3. Если матрица А имеет ортонормированные столбцы, то что можно сказать об псевдообратной к ней?
Упражнение 3.4.4. Если матрица АА1 обратима, то Л+= ЛТ (ЛЛ7)'1 и х=А+д._
Проверить, что Ах = Ь.
Для матрицы Л = [1 1] найти оптимальное решение уравнения «4-0 = 3.
Упражнение 3.4.5. Первоначально матрица Л+ была введена Пенроузом из других соображений: он доказал, что для произвольной матрицы А существует, и притом единственная, матрица Л + , удовлетворяющая четырем условиям
АА + А =А,(ii) А + АА+=А + ,
(ЛЛ + )Т = ЛЛ + ,(iv)(Л + Л)Т=Л + Л.
Мы предпочли дать более геометрическое и более интуитивное определение (для той же самой матрицы Л + 1), но алгебраичность только что данного определения упрощает проверку того, что данная матрица является псевдообратной.
Показать, что если А является матрицей проектирования (т. е. Л2 = Л и Л = ЛТ), то при А+=А все четыре требования (i)— (iv) будут выполнены. Поэтому псевдообратная совпадает с исходной матрицей А, как в примере 1 или в упражнении 3.4.1.
Показать, что матрица (Д+)т удовлетворяет требованиям для псевдообратной к матрице Лт, так что (ЛТ)+=(Л+)Т. (Следствие: если А — симметрическая матрица, то А+ также будет симметрической.)
Показать, что псевдообратная к матрице А* совпадает с А, кук это было показано выше для матрицы 2 и справедливость чего утверждалась для произвольной матрицы А.
ВЗВЕШЕННЫЕ НАИМЕНЬШИЕ КВАДРАТЫ
Вернемся на время к простейшему случаю задачи о наименьших квадратах и оценим средний вес пациента х на основе двух измерений x = bt и х = Ь2. При несовпадении результатов измерений мы приходим к несовместной системе двух уравнений относительно одного неизвестного:
Г Г [х]= р/ .
JJ
До сих пор мы считали эти два наблюдения равнозначными и искали величину х, которая давала бы минимум функции E^x-b^W-b^.
dE1 п--^-=0 при хdE1 п--^-=0 при х^1+^2^1+^2
dE1 п-
-^-=0 при х
dE1 п-
-^-=0 при х
^1+^2
^1+^2
Оптимальная величина х равняется среднему арифметическому измерений.
Предположим теперь, что эти два измерения неравнозначны. Значение x = bt могло быть получено в результате более точных измерений (или, в статистической задаче, из большей выборки), чем значение х = 62. Но мы все-таки не хотим целиком полагаться на значение x = bv так как в измерении х = Ь2 также содержится некоторая информация. Простейший компромисс состоит во введении различных весов ш/, с которыми будут браться наши измерения, и в выборе числа х, минимизирующего взвешенную сумму квадратов-.
Е2 = шЦх—bxy y-w^x—b^2.(58)
Если ии1 > ш2, то доминирующим будет первое измерение, т. е. процесс минимизации будет сильнее уменьшать (х—Ьху. Вычисляя
= 2 [^? (х—Ь,) + шЦх — Ь2)]
№161 + ^2^2№161 + ^2^2xirxir(59)(59)и приравнивая это выражение нулю, получаем новое решение xw:
№161 + ^2^2
№161 + ^2^2
xir
xir
(59)
(59)
Вместо среднего арифметического чисел bv и Ь2 для алучая цуг — св>а = 1 xw будет взвешенным средним значением данных. Это среднее ближе к blt чем к Ь2.
Взвешенные наименьшие квадраты можно трактовать двояко. С одной стороны, можно посмотреть, какая обычная задача о наименьших квадратах будет приводить к функции Е2 вида (58). Эта задача имеет вид
'w1 1 [х] = "w^^'w1 1 [х] = "w^^ссЕ2 = ^х —wtbty + (щ2х—w2bay.Е2 = ^х —wtbty + (щ2х—w2bay.
'w1 1 [х] = "w^^
'w1 1 [х] = "w^^
с
с
Е2 = ^х —wtbty + (щ2х—w2bay.
Е2 = ^х —wtbty + (щ2х—w2bay.
™2Ьг™2Ьг1У2
™2Ьг
™2Ьг
Это в точности совпадает со взвешенной ошибкой Е2 для исходной задачи. При введении весов мы заменяем исходную систему Ах = Ь на новую систему W Ax = Wb, где
Взвешенное решение xw представляет собой решение обычной задачи о наименьших квадратах W Ax=Wb.
Такой взгляд приводит к очевидному, но важному следствию: мы должны ожидать изменения решения по методу наименьших квадратов при замене исходной системы на сибтему W Ax=Wb. Отметим, что при обратимой матрице А никаких изменений не происходит: в исходном случае имеем х = А-1Ь, а с весами х = (И^Л)-1 Wb = A-1W~1Wb = A^b. Точные решения совпадают.
в то время как для задачи о наименьших квадратах решения х = А*Ь и xw = (WAy Wb различны. Это обстоятельство, вообще говоря, не удивительно, но оно приводит к неприятному следствию.
ЗТ. Основное правило обращения произведения матриц, (ВА)-1 = А-1В-1, не выполняется для псевдообратных матриц, т. е. в общем случае
(WAy^A^W*. (60)
Доказательство. Если правило обращения выполняется для некоторой обратимой матрицы W, такой, что псевдообратная к ней совпадает с обратной, то взвешенное решение xw будет иметь вид
xw = <WAV Wb— A*W-1Wb = А+Ь="х.
Но xw не равно х, так что правило действительно не выполняется.
Вторая точка зрения на взвешенные наименьшие квадраты состоит в том, что вместо перехода от системы Ах — Ь к WAx=Wb
мы можем сохранить исходные уравнения, но изменить определение длины. Естественным определением длины для «взвешенной» задачи является взвешенная сумма квадратов:
векторвектори =и =иа.иа.имеет длину Mlw^ (^М+ ®2U2)l/2-(61)
вектор
вектор
и =
и =
иа.
иа.
Сделав такое изменение, будем минимизировать ошибку Е= =|| Лх— 61|v обычным методом. Поскольку Е1 в точности является взвешенной суммой квадратов, ее минимум достигается в точке xw. При новом определении длины ближайшая к b точка передвинется от Ах к Axw. Вероятно, наилучшим способом иллюстрации этого является перемасштабирование координатных осей (рис. 3.8). Проекция сдвигается вниз по прямой, заменяя
Рис. 3.8. Изменение длины и изменение вектора х.Рис. 3.8. Изменение длины и изменение вектора х.
Рис. 3.8. Изменение длины и изменение вектора х.
Рис. 3.8. Изменение длины и изменение вектора х.
Поскольку взвешенное среднее оказывается меньше -^, эта точка будет ближе к первому измерению bt=^ , чем ко второму b2 = 1. Растягивая одну координатную ось по сравнению с другой, мы, тем самым придаем ей большее значение.
ВЕСА, ДЛИНЫ И СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ
В следующих абзацах мы хотим показать, что рассмотренный пример является типичным для всех задач о взвешенных наименьших квадратах. Одновременно мы рассмотрим все возможные определения скалярного произведения двух векторов и соответствующие им определения длины. К счастью, такое глобальное? обобщение очень легко осуществить.
Начнем с задачи о наименьших квадратах Ах = Ь. Если № наблюдений bt, ..., bm неравнозначны, то с т уравнениями будут- связаны т различных весов гу„ . . ., w,n. Это обобщение исходного примера, но на самом деле здесь имеется и более глубокое обобщение. Кроме неравнозначности, наблюдения могут не быть независимыми. В этом случае мы также вводим коэффициенты w^, характеризующие связь г-го и /-го наблюдений. Тогда система
Ах — b заменяется на W Ах — Wb. (62)
Числа гу,, ..., гу„ располагаются на главной диагонали матрицы U7 (теперь мы будем обозначать их через tyn, . .., ш„„), а связывающие коэффициенты, если таковые вообще имеются, являются внедиагональными элементами матрицы.
Замечание. В статистике это приблизительно соответствует введению коэффициентов регрессии, или, после нормализации, коэффициентов корреляции. Точная связь между матрицей весов W и статистической матрицей ковариации V приводится в конце этой главы.
Для решения новой задачи W Ax=Wb нужно лишь вернуться к нормальным уравнениям АТАх = АТЬ исходной задачи и сделать соответствующие изменения, т. е. заменить А на W А, а b на Wb.
34J. Если столбцы матрицы А линейно независимы (ее ранг равен п^ и матрица W обратима, то решение по методу наименьших квадратов для задачи WAx=Wb находится из взве- | шенных нормальных уравнений;
(ATWTWA)xw= ATWTWb.(63)»
§ Если обозначить матрицу ТГТ1^ через Н, то
Iх» ^^НАУ1 А^НЬ.
Этим завершается первый подход к методу взвешенных наименьших квадратов, и теперь мы переходим ко второму подходу. Вспомним, что в примере, с которого мы начинали этот параграф, основная идея заключалась в изменении определения длины. Проделаем то же самое и для более общей матрицы весов U7:
3V. Для произвольной обратимой матрицы W можно определить новую длину и скалярное произведение по следующим правилам-. новая длина вектора х равняется старой длине вектора Wx, а новое скалярное произведение векторов х и у равняется старому скалярному произведению векторов Wx и Wy.
^-^ = ||U7x|| и <х, yb-kWxV^Wy^x^Wy^. (64)
Длина и скалярное произведение связаны обычным правилом
fl х ЦЬ- = (х, х)^ > 0 для всех ненулевых векторов х. (65)
Это определение фактически описывает все возможные скалярные произведения, т. е. все способы получения числа, которое линейно зависит от векторов х и у и положительно при х — у^О. Именно это условие положительности приводит к требованию обратимости матрицы W, поскольку в противном случае в нуль-пространстве этой матрицы найдется ненулевой вектор х, и длина этого вектора будет равняться ЦхЦ^ = fl Wx)' = fl 0|| = 0. Мы не допускаем, чтобы ненулевой вектор имел нулевую длину.
Вернемся к задаче о наименьших квадратах Ах = Ь с матрицей весов W. Можно получить геометрическое истолкование этой задачи, используя новые определения длины и скалярного произведения. Оптимальный выбор вектора Ах, минимизирующего ошибку Ах— Ь,— это вновь точка р в пространстве столбцов матрицы А, ближайшая к Ь. Но слово «ближайшая» здесь нужно понимать в терминах нового определения длины. Теперь мы минимизируем величину || Ах—Ь||^ = |1 W Ах—Wb'Y Эта точка р (или, вернее, pw, поскольку она зависит от матрицы Н^) вновь оказывается проекцией точки b на пространство столбцов, а вектор ошибки b—pw ортогонален этому пространству. Имеется, однако, и изменение: ортогональность теперь означает равенство нулю нового скалярного произведения. Поэтому точка pw = Axw or^e- деляется из условия, что вектор b—pw перпендикулярен всем векторам Ау из пространства столбцов:
(Лу)т W71^ (ft —Axw) = 0 для всех у.
х) Матрица Н = 1ГТ W при обратимой матрице U7 —это в точности положительно определенная матрица из гл. 6.-
Вектор, на который умножается у1, должен равняться нулю,
A^W (b — Ax"w) = 0,или A^WAx^A^Wb,
и мы вновь приходим к взвешенным нормальным уравнениям (63).
Будем пессимистами и, не веря всему сказанному, попытаемся изобразить (рис. 3.9), как выглядит эта новая перпендикулярность. Мы можем либо растягивать пространство в соответствии с матрицей W (рис. 3.8), либо сохранить исходные оси и стра-
Рис. 3.9. Взвешенные наименьшие квадраты и ^-перпендикулярность.Рис. 3.9. Взвешенные наименьшие квадраты и ^-перпендикулярность.
Рис. 3.9. Взвешенные наименьшие квадраты и ^-перпендикулярность.
Рис. 3.9. Взвешенные наименьшие квадраты и ^-перпендикулярность.
дать от созерцания углов, которые не выглядят прямыми, но
считаются таковыми.
Задача, соответствующаяWAx=Wb, илиЗадача, соответствующаяWAx=Wb, илиэтому рисунку, такова:этому рисунку, такова:2 11 11 [х] = Г2 11 ГО".2 11 11 [х] = Г2 11 ГО".
Задача, соответствующая
WAx=Wb, или
Задача, соответствующая
WAx=Wb, или
этому рисунку, такова:
этому рисунку, такова:
2 11 11 [х] = Г2 11 ГО".
2 11 11 [х] = Г2 11 ГО".
Взвешенные нормальные уравнения имеют вид (WA)TWAxw = (WA)T Wb, или
[3 2][3 2]3232xw — [3xw — [35,135,13
[3 2]
[3 2]
3
2
3
2
xw — [3
xw — [3
5,13
5,13
В качестве последнего замечания о методе наименьших квадратов сравним наш подход с подходом, который обычно применяется в статистике. Предполагается, что ошибки для т уравнений Ах = Ь в среднем дают нуль и матрицу ковариации V. Тогда оптимальная оценка х является решением системы нормальных уравнений ATV~1Ax= ATV-1b и эти уравнения совпадают
с (63) при условии, что в качестве H=WTW выбрана обратная к V матрица.-
Упражнение 3.5.1. ДляУпражнение 3.5.1. Дляматрицыматрицы№ =№ =2 0"0 12 0"0 1найтинайтиоптимальный вектороптимальный вектор
Упражнение 3.5.1. Для
Упражнение 3.5.1. Для
матрицы
матрицы
№ =
№ =
2 0"
0 1
2 0"
0 1
найти
найти
оптимальный вектор
оптимальный вектор
х^, когда наблюдение х = 1: шг = 2 и te>2 — 1 •х^, когда наблюдение х = 1: шг = 2 и te>2 — 1 •х = 4 берется с вдвое большимх = 4 берется с вдвое большимвесом, чем наблюдениевесом, чем наблюдение
х^, когда наблюдение х = 1: шг = 2 и te>2 — 1 •
х^, когда наблюдение х = 1: шг = 2 и te>2 — 1 •
х = 4 берется с вдвое большим
х = 4 берется с вдвое большим
весом, чем наблюдение
весом, чем наблюдение
Упражнение 3.5.2. При той же самой матрице W какие векторы Й^-пер- пендикулярны к вектору Ь= ? Чему равняется взвешенная длина || b Ц^' вектора 6?
Упражнение 3.5.3. Если IF = нее х^ наблюдений х=1 и х = 0?Упражнение 3.5.3. Если IF = нее х^ наблюдений х=1 и х = 0?то чему равняется оптимальное сред-то чему равняется оптимальное сред-
Упражнение 3.5.3. Если IF = нее х^ наблюдений х=1 и х = 0?
Упражнение 3.5.3. Если IF = нее х^ наблюдений х=1 и х = 0?
то чему равняется оптимальное сред-
то чему равняется оптимальное сред-
Упражнение 3.5.4. Для какой матрицы IF новая длина и новое скалярное произведение совпадают с исходными?
ОБЗОРНЫЕ УПРАЖНЕНИЯ
Как связано произведение (АВСр с каждой из матриц Лт, ST и Ст?
Записать матрицу ранга 1
А = Г2 3
[б 9J
и транспонированную Лт в виде ии1.
Чему равен угол между векторами а = (2, —2, 1) и 6 = (1, 2, 2)?
Чему равна проекция р вектора 6 = (1, 2, 2) на вектор а = (2, —2, 1)?
Вычислить косинус угла между векторами (3, 4) и (4, 3).
Чему равна проекция вектора 6 = (1, 1, 1) на плоскость, порожденную векторами (1, 0, 0) и (1, 1, 0)?
Какой вид имеют нормальные уравнения для системы и = 0, у = 2, «Д-у = 4? Чему равны и и у?
Построить матрицу проектирования Р на пространство, порожденное векторами (1, 1, 1) и (0, 1, 3).
Какой вид имеет прямая наилучшего приближения для данных: у = 0 при х = 0, у = 0 при х=Х, у = 12 при х = 3?
Найти прямую вида y = Dt, дающую наилучшее приближение для данных: у=1, 1=1 и у=1, t = 2.
Какая константа наилучшим образом приближает функцию y^x1 в смысле метода наименьших квадратов на отрезке 0<х<1?
Если матрица Q ортогональна, то будет ли ортогональна матрица Q3?
Выписать все ортогональные матрицы третьего порядка, состоящие только из нулей и единиц.
Г1!Г41
Какое кратное вектора Oj = нужно вычесть из а2 = q ’ чт°бы получившийся в результате вектор был ортогонален к а<? Изобразить это на рисунке.
Нормализовать ортогональные векторы, полученные в предыдущем упражнении. Это завершит процесс Грама — Шмидта. Представить матрицу
в виде А = Q R.
Представить матрицу
cos 0 sin 0
sin 0
в виде QR, учитывая, что ее первый столбец уже является вектором единичной длины.
Найти псевдообратную к матрице Л = [3 0].
"2 Г1 0"2 Г1 0W =W =Чему равняется скалярное произведение векторов (1, 0) и (0, 1) при матрице весов
"2 Г
1 0
"2 Г
1 0
W =
W =
Если каждый из элементов ортогональной матрицы равен 1/4 либо —1/4, то каков размер этой матрицы?
Глава 4ОПРЕДЕЛИТЕЛИ
. ВВЕДЕНИЕ
Трудно решить, что именно следует сказать об определителях. Лет семьдесят назад казалось, что определители важнее матриц, из которых они получаются, и была опубликована четырехтомная «История определителей» Мура. Направление развития математики, однако, меняется, и сейчас теория определителей достаточно далека от основных проблем линейной алгебры. Действительно, одно число слишком слабо характеризует матрицу.
Одна из точек зрения состоит в том, что определитель дает явную «формулу», сжатое и конкретное выражение в замкнутой форме для таких величин, как Л-1. На самом деле эта формула не используется для вычисления Л-1 или А-1Ь. Более того, сам определитель находится с помощью метода исключения, который может трактоваться как наиболее эффективный способ для подстановки элементов заданной матрицы в формулу для определителя. Общая формула важна потому, что она показывает зависимость величины определителя от каждого из /г2 элементов матрицы.
Перечислим основные применения определителей.
Определитель дает критерий для проверки обратимости матрицы. Если определитель матрицы Л равен нулю, то эта матрица вырожденна, а если det А#=0, то А обратима. Этот критерий наиболее важен применительно к семейству матриц А —XI (чем и объясняется существенность данной главы для всей книги в целом). Параметр X вычитается из всех элементов главной диагонали, и наша задача заключается в отыскании тех значений X (собственных значений';, при которых матрица А—XI будет вырожденной. Приведенный критерий показывает, что для этого достаточно выяснить, когда определитель матрицы А —XI будет равен нулю. В дальнейшем мы увидим, что этот определитель является многочленом степени п от X и, следовательно, с учетом кратности, имеет в точности п корней; таким образом, матрица
(порядка п) имеет п собственных значений. Это один из фактов, получаемых с помощью формулы для определителя, а не непосредственным вычислением.
Определитель матрицы А равен объему параллелепипеда Р в n-мерном пространстве, построенного на векторах, совпадающих со строками матрицы А (рис. 4.1)1). Необходимость в вычисле-
Рис. 4.1. Параллелепипед, образованный строками матрицы А.Рис. 4.1. Параллелепипед, образованный строками матрицы А.
Рис. 4.1. Параллелепипед, образованный строками матрицы А.
Рис. 4.1. Параллелепипед, образованный строками матрицы А.
нии такого рода объемов может показаться странной, но на самом деле Р обычно является элементом объема в кратном интеграле. В простейшем случае это кубик dV = dxdydz в интеграле 555 f^’ У’ ^У^- Если для упрощения подынтегрального выражения мы осуществим замену переменных х, у, г на х , у', г' по формулам x = x'cosy', y=x'siny', z — z', то элемент объема dxdydz перейдет в Jdx' dy'dz' (подобно тому, как это происходит в одномерном случае, когда дифференциал dx преобразуется в (dx/dx')dx'). Здесь J есть определитель Якоби (якобиан), являющийся трехмерным аналогом коэффициента подобия dx/dx',
дх/дх дх[ду* дх/дг’ ду/дх’ dyldy' ду/дг' дг(дх' дг/ду' дг/дг'дх/дх дх[ду* дх/дг’ ду/дх’ dyldy' ду/дг' дг(дх' дг/ду' дг/дг'cos у*sin у'Оcos у*sin у'О—х sin у'х' cos у*О—х sin у'х' cos у*ООО1ОО1
дх/дх дх[ду* дх/дг’ ду/дх’ dyldy' ду/дг' дг(дх' дг/ду' дг/дг'
дх/дх дх[ду* дх/дг’ ду/дх’ dyldy' ду/дг' дг(дх' дг/ду' дг/дг'
cos у*sin у'О
cos у*sin у'О
—х sin у'х' cos у*О
—х sin у'х' cos у*О
О
О
1
О
О
1
и он оказывается равным х*. В полярных, или, точнее, в цилиндрических координатах, где элемент объема равен rdrdQdz, это г. (Если мы-попытаемся нарисовать «кубик» rdrdddz, то он будет
х) В качестве векторов для построения параллелепипеда можно взять и столбцы матрицы А, в результате чего получится совсем другой параллелепипед того же объема.
выглядеть искривленным, но при уменьшении длин сторон будет «выпрямляться».)
Определитель дает явную формулу для ведущих элементов матрицы. Теоретически мы могли бы пользоваться им, чтобы выяснить заранее, когда ведущий элемент будет равен нулю и потребуется перестановка строк матрицы. Гораздо важнее, однако, что из формулы
det Л = + (произведение ведущих элементов) вытекает следующее свойство: независимо от порядка шагов в методе исключения произведение ведущих элементов неизменно с точностью до знака. Раньше из этого делали вывод о бесполезности перестановки строк матрицы для устранения слишком маленького ведущего элемента, считая, что он все равно должен появиться. Но на самом деле (и это часто происходит), если мы не исключаем «ненормально» малый ведущий элемент, то за ним вскоре следует «ненормально» большой; в результате их произведение приходит в норму, но численное решение оказывается неверным.
Определитель показывает зависимость величины А-1Ь от каждого элемента вектора Ь. Если в ходе эксперимента изменяется один из параметров или уточняется одно из наблюдений, то «коэффициентом влияния» этих изменений на х = А-ЛЬ является отношение определителей.'
Имеется еще одна проблема, связанная с определителями. Трудно не только решить, насколько они важны и каково их место в линейной алгебре, но и выбрать их определение. Ясно, что det А не будет очень простой функцией от п2 переменных; в противном случае найти А-1 было бы значительно проще, чем это есть на самом деле. Явная формула, приведенная в § 4.3, потребует тщательного разъяснения, и ее связь с обратной матрицей далеко не очевидна.
Из связанных с определителями вопросов наиболее простым оказывается выяснение их свойств, а не нахождение явного выражения для них. Поэтому естественно начать изложение следующим образом. Определитель может быть (и будет) введен при помощи трех основных его свойств, и задача состоит в том, как, используя эти свойства, вычислить значение определителя. Такой подход вернет нас к методу исключения Гаусса и к произведению ведущих элементов. Теоретически наиболее трудным здесь будет доказательство того факта, что независимо от порядка использования упомянутых выше свойств, результат всегда будет один и тот же и эти свойства определителя образуют непротиворечивую систему.
В следующем параграфе перечисляются основные свойства определителя и наиболее важные следствия из них. В § 4.3 дается
несколько возможных формул для определителя: явная формула с п\ членами, рекуррентная формула и формула, использующая ведущие элементы (именно она и применяется на практике при вычислении определителей больших матриц). В § 4.4 определитель используется для вычисления А-1 и решения уравнения х=А~Ч> (правило Крамера). И, наконец, в дополнительном замечании о перестановках мы докажем, что выбранные свойства определителя непротиворечивы, откуда будет следовать корректность такого выбора.
СВОЙСТВА ОПРЕДЕЛИТЕЛЯ
Список этих свойств занимает довольно много места, однако они весьма просты и легко иллюстрируются на матрицах второго порядка. Поэтому будем проверять, что известная формула для определителяСписок этих свойств занимает довольно много места, однако они весьма просты и легко иллюстрируются на матрицах второго порядка. Поэтому будем проверять, что известная формула для определителяdetdetа bс dа bс dа bс dа bс d= ad — be= ad — be
Список этих свойств занимает довольно много места, однако они весьма просты и легко иллюстрируются на матрицах второго порядка. Поэтому будем проверять, что известная формула для определителя
Список этих свойств занимает довольно много места, однако они весьма просты и легко иллюстрируются на матрицах второго порядка. Поэтому будем проверять, что известная формула для определителя
det
det
а b
с d
а b
с d
а b
с d
а b
с d
= ad — be
= ad — be
обладает каждым из перечисленных ниже свойств. (Существует два общепринятых обозначения для определителя матрицы А: det А и | А |.) Мы покажем также, что все свойства определителей, начиная с четвертого, можно получить из предыдущих; таким образом, каждое из этих свойств будет следствием первых трех.
Определитель является линейной функцией своей первой строки. Это означает, что если имеются матрицы А, В и С, отличающиеся друг от друга только элементами своих первых строк, и первая строка матрицы А является линейной комбинацией первых строк матриц В и С, то det А есть линейная комбинация с теми же коэффициентами определителей det В и det С. Поскольку термин «линейная комбинация» подразумевает как умножение векторов на числа, так и сложение векторов, мы получаем две формулы:
a-Va* b-\-b'a-Va* b-\-b'= (а 4-и')d-^(b + b') с == (а 4-и')d-^(b + b') с =а. b с dа. b с dta tbс dta tbс d= tad — tbc = t= tad — tbc = tа b с dа b с d
a-Va* b-\-b'
a-Va* b-\-b'
= (а 4-и')d-^(b + b') с =
= (а 4-и')d-^(b + b') с =
а. b с d
а. b с d
ta tbс d
ta tbс d
= tad — tbc = t
= tad — tbc = t
а b с d
а b с d
Подчеркнем, что эта формула в корне отлична от неверной формулы det (В + С) = det В + det С; изменения допускаются лишь в одной строке матрицы.
При перестановке двух строк матрицы ее определитель
меняет знак.
сасаd bd b= cb—ad == cb—ad =а b с dа b с d
с
а
с
а
d b
d b
= cb—ad =
= cb—ad =
а b с d
а b с d
Отсюда следует, что свойство 1 относится не только к первой, но и к любой другой строке матрицы, так что определитель является линейной функцией каждой своей строки.
Определитель единичной матрицы равен 1.
1 О
О 1
Это свойство является нормализующим; два предыдущих дают «одномерное пространство» определителей, а это выделяет среди них один.
Если матрица Л имеет две одинаковые строки, то det Л=0.
ааааbbbb= ab —Ьа = 0.= ab —Ьа = 0.
а
а
а
а
b
b
b
b
= ab —Ьа = 0.
= ab —Ьа = 0.
Доказательство следует из свойства 2; при перестановке двух строк матрицы знак определителя должен измениться на противоположный, но, с другой стороны, он должен остаться прежним, поскольку матрица не изменяется. Следовательно, det Л = 0. (Рассуждение теряет силу в булевой алгебре, где 1=—1. В этом случае основное свойство 2 должно быть заменено свойством 4.)
Элементарное преобразование, состоящее в вычитании строки, умноженной на постоянную, из другой строки, не изменяет величины определителя.
а—Ic b—Id а bс d cd"
I с d | Используя свойство 1, мы получаем дополнительный член / Л, но из свойства 4 следует, что он равен нулю.
Если одна из строк матрицы Л нулевая, то det Л = 0.
Одно из доказательств состоит в том, что к нулевой строке прибавляется какая-либо другая строка матрицы. При этом определитель по свойству 5 остается неизменным, но в матрице появляются две одинаковые строки и по свойству 4 det Л —0.
Если матрица А треугольная, то det А равен произведению аИа22.. ,апп элементов главной диагонали. В частности, если главная диагональ матрицы состоит из единиц, то det А= 1,
а bО dа bО d— ad,— ad,а О с dа О с d— ad.— ad.
а b
О d
а b
О d
— ad,
— ad,
а О с d
а О с d
— ad.
— ad.
Доказательство. Пусть диагональные элементы матрицы отличны от нуля. Тогда элементарными преобразованиями можно исключить все внедиагональные элементы, не изменяя при этом величины определителя (по свойству 5). В результате получим диагональную матрицу
Г°и "I
(Это обычный метод исключения, если А—нижняя треугольная матрица; если же А —верхняя треугольная матрица, то каждая умноженная на некоторый коэффициент строка вычитается из строк, стоящих выше нее). Для вычисления определителя матрицы D нужно последовательно применять свойство 1; вынося каждый элемент аи, получим единичную матрицу, определитель которой нам известен:
det D = a,.aM.. .апп det I = аИа.... ,апп. lift i м lift
Если какой-либо диагональный элемент матрицы А равен нулю, то эта матрица вырожденная и, согласно следующему свойству, ее определитель равен нулю.
а b с dа b с dЕсли матрица А вырожденна, то det А = 0. Если А невы- рожденна, то det А 0.
а b с d
а b с d
вырожденна тогда и только тогда, когда ad—Ьс=О.
Если А—вырожденная матрица, то элементарными преобразованиями она приводится к матрице U с нулевой строкой. Тогда по свойствам 5 и 6 det А = det U = 0. Обратно, предположим, что матрица А невырожденна. Тогда элементарными преобразованиями и перестановкой строк она приводится к верхней треугольной матрице U с ненулевыми ведущими элементами di, ,..,dn на главной диагонали и по свойству 7 det А = ± det U = ± dT.. .dn. Знак плюс или минус зависит, согласно свойству 2, от того, является число перестановок строк четным или нечетным.
9. Для любых двух их произведения равен =(det .4) (det В\9. Для любых двух их произведения равен =(det .4) (det В\а b с dа b с dе f ae-Vbg g h - сеД-dgе f ae-Vbg g h - сеД-dgaf + bh cf + dhaf + bh cf + dh
9. Для любых двух их произведения равен =(det .4) (det В\
9. Для любых двух их произведения равен =(det .4) (det В\
а b с d
а b с d
е f ae-Vbg g h - сеД-dg
е f ae-Vbg g h - сеД-dg
af + bh cf + dh
af + bh cf + dh
матриц размера пхп определитель произведению определителей1, det АВ=
Это эквивалентно тождеству
(ad—be) (e/i — fg) = (ae + bg) (cf + dh) —(af + bh) (ce-Vdg\
В частности, если матрица А обратима, то det A det А-1 = = det АА~Х = det / = 1 или det А-1 = 1/det А.
Мы приведем два возможных доказательства этого наименее очевидного пока свойства, предполагая, что матрицы А и 5 невырожденные (в противном случае матрица АВ будет вырожденной и равенство det АВ = det A det В легко устанавливается: по свойству 8 оно эквивалентно равенству 0 = 0).
) Можно рассмотреть величину d (А) = det AB/det В и доказать, что она обладает свойствами 1 — 3; тогда, поскольку определители вводятся при помощи этих трех свойств, величина d(A) должна равняться det А. Например, если А является единичной матрицей, то d(/) = det B/det В = 1; следовательно, величина d(A) обладает свойством 3. При перестановке двух строк матрицы А то же самое произойдет с соответствующими строками матрицы АВ и знак величины d изменится в соответствии со свойством 2. И, наконец, линейная комбинация в первой строке матрицы А даст такую же линейную комбинацию в первой строке матрицы АВ. Поэтому свойство 1 для определителя матрицы АВ, деленного на фиксированную величину det В, приводит к свойству 1 для их отношения d(A). Следовательно, d(A) совпадает с определителем матрицы А и det AB/det В= det А.
(И) Второе доказательство менее элегантно, чем первое. Рассмотрим сначала случай диагональной матрицы D. Тогда равенство det DB = det D det В следует из свойства 1 и получается вынесением каждого диагонального элемента dj из своей строки. В случае произвольной матрицы А мы приводим ее к D последовательностью исключений по Гауссу—Жордану, сначала переходя от А к U в обычном порядке, а затем от 0 к D, действуя каждой строкой на расположенные выше строки. Определитель при этом остается неизменным с точностью до знака, который меняется на противоположный при каждой перестановке строк. Те же шаги переводят матрицу АВ в DB, точно так же действуя на определитель, а для произведения DB справедливость свойства 9 уже установлена.
При транспонировании матрицы ее определитель не изменяется1. det Дт = det А.
а b асс d - b d
Здесь вновь следует выделить вырожденный случай; матрица А вырожденка тогда и только тогда, когда Дт вырожденна, и мы имеем 0 = 0. Если матрица А невырожденная, то она допускает разложение PA = LDU, и можно применить свойство 9 для определителя произведения:
det Р det А = det L det D det U. (1)
Транспонирование матрицы PA=LDU дает A^P"^ ШП^и, и по свойству 9
det Д1 det/>т = det ZVT det Z?T det Дт. (2)
На самом деле это выражение проще, чем может показаться, поскольку матрицы L, U, LT и UT являются треугольными матрицами с единицами вдоль главной диагонали. Поэтому по свойству 7 их определители равны единице. Кроме того, любая диагональная матрица совпадает со своей транспонированной, т. е. DI = D. Поэтому остается вычислить лишь определитель матрицы перестановки.
Ясно, что определитель матрицы Р равен либо 1, либо —1, поскольку она получается из единичной матрицы последовательностью перестановок строк. Заметим, что для любой матрицы перестановки мы имеем РРУ = 1. (При перемножении матриц Р и Р^ единица в первой строке матрицы Р умножается на единицу в первом столбце матрицы РТ и на нули в остальных столбцах.) Следовательно, det Pdet РТ = det I = 1 и матрицы Р и Р^ должны иметь одинаковые определители, равные либо 1, либо —1.
Для завершения доказательства заметим, что произведения в (1) и (2) равны между собой и, следовательно, detД = detДт. Этот факт практически удваивает число свойств определителя, поскольку каждое из перечисленных выше свойств оказывается справедливым и для столбцов матрицы; определитель меняет знак при перестановке двух столбцов матрицы, наличие двух равных столбцов (или столбца из нулей) дает определитель, равный нулю, и определитель линейно зависит от каждого отдельного столбца. Доказательство заключается в транспонировании матрицы и проверке свойств для строк.
На наш взгляд, пора остановиться и объявить список свойств определителя полным. Остается лишь найти формулу для определителя и использовать ее на практике.
Упражнение 4.2.1. Как связаны det (2Л), det (—Л) и det (Л2) с det Л?
Упражнение 4.2.2. На примере матрицы второго порядка показать, что перестановка 1-й и /-й строк может быть осуществлена путем прибавления ьй строки к /-й, вычитания новой /*й строки из г-й, прибавления новой !-й строки к /-Й и, наконец, умножения 1-й строки на —1. Какие свойства тогда можно использовать для получения свойства 2?
Упражнение 4.2.3. Применяя преобразования строк для нахождения верхних треугольных матриц U, вычислить определители
" 1
2
—2
О'
" 2
—1
0
О'
det
2
3
—4
1
, det
—1
2 -1
0
—1
—2
0
2
0
— 1
2
—1
с 0
2
5
3_
0
0 -1
2_
Замечание. Многим читателям известна формула для вычисления определителей 3-го порядка, содержащая шесть членов (ем. формулу (5) ниже). Естественно ожидать аналогичного правила для определителей 4-го порядка, и такая формула есть. Но она содержит. 4! = 24 члена, а не 8, как может показаться по аналогии с определителем 3-го порядка. Именно поэтому мы и рекомендуем использовать преобразования строк и приведение к треугольной матрице U при вычислении определителя.
Упражнение 4.2.4.Д1 = — А. ПустьУпражнение 4.2.4.Д1 = — А. ПустьКососимметрическая матрица удовлетворяет равенству
Упражнение 4.2.4.
Д1 = — А. Пусть
Упражнение 4.2.4.
Д1 = — А. Пусть
а Ь"
О с
— с О
Требуется показать, что det4 = 0 (сравнивая его с det Дт и det (—.4)). Показать также, что для кососимметрической матрицы второго порядка det А можег быть отличен от нуля; для равенства нулю определителя порядок матрицы должен быть нечетным.
Упражнение 4.2.5. Вычислить определители:
произведения матриц ранга один
А =А =[2[2-1 2]-1 2]
А =
А =
[2
[2
-1 2]
-1 2]
8 8'2 22 6О 2-8 8'2 22 6О 2-
8 8'
2 2
2 6
О 2-
8 8'
2 2
2 6
О 2-
верхней треугольной матрицы Г4 4
U= 0 1О о
_о о
нижней треугольной матрицы U^\ d) обратной матрицы t/-1;
е) «обратно-треугольной» матрицы, получаемой перестановкой строк,
М =М =’О о о.4’О о о.4О 0 2~
М =
М =
’О о о
.4
’О о о
.4
0 2 6
1 2 2
4 8 8-
Упражнение 4.2.6. Найти другой способ получения свойства 6 из предыдущих.
Упражнение 4.2.7. Пусть Q—ортогональная матрица, т. е. QTQ = I. Доказать, что det Q равен либо +1, либо —1. Какой параллелепипед образуют строки (или столбцы) матрицы Q?
Упражнение 4.2.8. Используя преобразования строк, проверить, что определитель Вандермонда 4-го порядка равняется
11112Х1 xi2 хг Хг2Х3 Хз2Х4 Х42Х1 xi2 хг Хг2Х3 Хз2Х4 Х43Х2ХзХ43Х2ХзХ4= (Х2—X]) (Х;) —X,) (Х| — Х4) (Х3 —Х2) (Х4 —Х2) (Х4 —Х3).= (Х2—X]) (Х;) —X,) (Х| — Х4) (Х3 —Х2) (Х4 —Х2) (Х4 —Х3).
1
1
1
1
2
Х1 xi
2 хг Хг
2
Х3 Хз
2
Х4 Х4
2
Х1 xi
2 хг Хг
2
Х3 Хз
2
Х4 Х4
3
Х2
Хз
Х4
3
Х2
Хз
Х4
= (Х2—X]) (Х;) —X,) (Х| — Х4) (Х3 —Х2) (Х4 —Х2) (Х4 —Х3).
= (Х2—X]) (Х;) —X,) (Х| — Х4) (Х3 —Х2) (Х4 —Х2) (Х4 —Х3).
§ 4.3. ФОРМУЛЫ ДЛЯ ОПРЕДЕЛИТЕЛЯ
Первая формула нами практически уже получена:
4А. Если матрица А невырожденная, то A = P~1LDU и det А = det Р-1 det L det D det U =
= ± (произведение ведущих элементов). (3)
Знак плюс или минус дается определителем матрицы Р-1 (или Р) и зависит от того, является число перестановок строк в приведении четным или нечетным. Для треугольных сомножителей имеем det L = det U = 1 и det D = d4 ... dn.
В двумерном случае стандартное ДП^-разложение имеет вид
а b■ с dа b■ с d' 1 01 Гас]а 1 О' 1 01 Гас]а 1 ОО " 1 Ь]а(ad—ЬсДа01О " 1 Ь]а(ad—ЬсДа01и произведение ведущих элементов равно ad—be.и произведение ведущих элементов равно ad—be.шаг состоял в перестановке строк, тошаг состоял в перестановке строк, тоРА =РА =сасаdl b Jdl b JГ 101 с О[a/c 10(cb—da^[cГ 101 с О[a/c 10(cb—da^[c1О1О(4)(4)Если первыйd/c1Если первыйd/c1
а b
■ с d
а b
■ с d
' 1 01 Га
с]а 1 О
' 1 01 Га
с]а 1 О
О " 1 Ь]а
(ad—ЬсДа01
О " 1 Ь]а
(ad—ЬсДа01
и произведение ведущих элементов равно ad—be.
и произведение ведущих элементов равно ad—be.
шаг состоял в перестановке строк, то
шаг состоял в перестановке строк, то
РА =
РА =
с
а
с
а
dl b J
dl b J
Г 101 с О
[a/c 10(cb—da^[c
Г 101 с О
[a/c 10(cb—da^[c
1
О
1
О
(4)
(4)
Если первый
d/c
1
Если первый
d/c
1
и произведение ведущих элементов теперь равно —det Л.
Пример. Матрица конечных разностей в § 1.6 представлялась в виде А = LDU:
гг3232
г
г
3
2
3
2
Ее определитель равен произведению ведущих элементов:
detx = 2^(yJ... j = n+i.
Именно таким образом обычно й вычисляются определители, кроме некоторых частных случаев. Фактически понятие ведущих элементов появилось в результате систематического рассмотрения информации, первоначально распределенной на все п2 элементов матрицы. Однако с теоретической точки зрения такая концентрация информации в ведущих элементах имеет недостаток, заключающийся в невозможности установить, как изменение одного из элементов матрицы влияет на величину определителя. Поэтому мы попытаемся найти явное выражение для определителя через все п2 элементов матрицы. Для п = 2 будет показана справедливость формулы ad—be. Для п = 3 соответствующая формула также хорошо известна:
°п п12 й13
п21й22 й23 = Н~ й11бг22а33 ф-й12й23й3| Н-й13й21й32(э)
О31О32й33^-11^-23^32О12Д21О33 О1зО2гО31.
Наша цель состоит в том, чтобы вывести эти формулы непосредственно из определяющих свойств 1—3 предыдущего параграфа. Если мы сумеем сделать это для п = 2 и п = 3 достаточно систематическим образом, то это укажет путь для нахождения определителей матриц большего порядка.
Начнем с того, что каждую строку матрицы А можно разложить на сумму векторов по направлениям координатных осей; для л = 2 это разбиение имеет вид
[а 6] = [а 0] + [0 й] и [с d] = [c 0] + [0 d].
Затем мы воспользуемся основным свойством линейности по каждой из строк матрицы—сначала по строке 1, а затем по строке 2:Затем мы воспользуемся основным свойством линейности по каждой из строк матрицы—сначала по строке 1, а затем по строке 2:п направлениям. Тогда разложение, аналогичное (6), будет содержать и" членов: в нашем случае 22 = 4. Однако большинство из них (как первый и последний в приведенном разложении) автоматически равняются нулю. Если векторы двух строк окажутся направленными одинаково, один из них будет равен друп направлениям. Тогда разложение, аналогичное (6), будет содержать и" членов: в нашем случае 22 = 4. Однако большинство из них (как первый и последний в приведенном разложении) автоматически равняются нулю. Если векторы двух строк окажутся направленными одинаково, один из них будет равен друасасООООb db d= 0.= 0.гому, умноженному на постоянную, и
Затем мы воспользуемся основным свойством линейности по каждой из строк матрицы—сначала по строке 1, а затем по строке 2:
Затем мы воспользуемся основным свойством линейности по каждой из строк матрицы—сначала по строке 1, а затем по строке 2:
п направлениям. Тогда разложение, аналогичное (6), будет содержать и" членов: в нашем случае 22 = 4. Однако большинство из них (как первый и последний в приведенном разложении) автоматически равняются нулю. Если векторы двух строк окажутся направленными одинаково, один из них будет равен дру
п направлениям. Тогда разложение, аналогичное (6), будет содержать и" членов: в нашем случае 22 = 4. Однако большинство из них (как первый и последний в приведенном разложении) автоматически равняются нулю. Если векторы двух строк окажутся направленными одинаково, один из них будет равен дру
а
с
а
с
О
О
О
О
b d
b d
= 0.
= 0.
Здесь имеются столбцы из нулей, и определители равняются нулю. Поэтому нас будут интересовать только те определители, у матриц которых вектор-строки имеют разные направления, т. е. ненулевые члены присутствуют в разных столбцах. Пусть в первой строке матрицы ненулевой элемент находится на месте а, во второй строке — на месте р и, наконец, в п-й строке ненулевой элемент находится на месте v, причем все номера столбцов а, р, . .., v различные. Тогда этот набор является перенумерацией,. или перестановкой, набора чисел 1, 2, . .., п. Для матрицы размера 3x3 имеется шесть членов такого вида:
«и «21
«12
«22
«13
«23
«и
«22
+
«12
«23
+
«21
«13
+
«31
«32
«33
«и
«33
«31
«12
«32
«13
+
«3?
«23
+
«21
«33
+
«31
«22
•(7)
Отметим еще раз, что разложение вида (6) содержало бы З3 = 27 членов, однако все они, кроме 3! = 6, равны нулю благодаря совпадению направлений двух вектор-строк. В общем случае мы
имеем п возможностей для выбора позиции а, и—1 возможностей для выбора р и только одну возможность для выбора последней позиции v (к этому моменту, если мы производим разложение, аналогичное (7), будут использованы все столбцы, кроме одного), и поэтому разложение будет содержать и! членов. Другими словами, число перестановок набора чисел 1, 2, ..., п равняется п\. Каждой последовательности номеров столбцов матрицы соответствует определенная перестановка; шесть членов в (7) получены из следующих наборов столбцов:
(а, р, v) = (l, 2, 3), (2, 3, 1), (3, 1, 2), (1,3,2), (2,1,3), (3,2,1).
Это все 31 = 6 перестановок набора (1, 2, 3), причем первая пере
становка тождественная.
Итак, определитель матрицы А заменен суммой шести значительно более простых определителей. Вынося а^., получаем по одному члену суммы для каждой из перестановок:
1
det А = 0^^6222^33det А = 0^^6222^334" ^12^23^31114" ^12^23^311114~ ^13^216:32114~ ^13^216:321
det А = 0^^6222^33
det А = 0^^6222^33
4" ^12^23^31
11
4" ^12^23^31
11
14~ ^13^216:321
14~ ^13^216:321
Каждый из членов суммы равен произведению п = 3 элементов О/у, причем каждые строка и столбец представлены по одному разу. Другими словами, в разложении имеется член, соответствующий каждому пути, проходящему через всю матрицу и использующему каждый столбец по одному разу; если столбцы используются в порядке (а, . . ., v), то этот член равен произведению о1а ... аот, умноженному на определитель матрицы перестановки Ра. Определитель всей матрицы равен сумме таких членов; эта сумма и дает ту явную формулу, которую мы искали-.
II det А = V (olcta2p ... апА det Ро. (8)
Для матрицы порядка п сумма берется по всем п! перестановкам о = (а, . .., v) набора чисел (1, ..., п). Перестановка дает последовательность номеров столбцов, когда мы движемся вниз по строкам матрицы, и она также определяет матрицу перестановки Рс: единицы находятся в ней на тех же местах, где находились элементы а в А.
Остается вычислить определитель матрицы Ра. Поскольку перестановками строк Ро преобразуется в единичную матрицу и каждая из перестановок изменяет знак определителя, det Ра равен
либо +1, либо —1. Знак зависит от того, является число перестановок строк четным или нечетным. Рассмотрим два примера:
Г1
Ро =Ро =1111
Ро =
Ро =
1
1
1
1
последовательностьюпоследовательностьюстолбцов (а, р, v) = (l, 3, 2) и
последовательностью
последовательностью
Ро= 1
с последовательностью столбцов о = (3, 1, 2).
В первом случае требуется одна перестановка строк (второй и третьей), так что det Ра =—1. Во втором для получения единичной матрицы нужны две перестановки строк (первой и второй, а затем второй и третьей), так что detPa=(—1)2=1. Это два из шести знаков ±, имеющихся в формуле (5);
Формула (8) представляет собой явное выражение для определителя, и нетрудно проверить формулу для определителя 2-го порядка: 2! = 2 перестановки есть о = (1, 2) и о = (2, 1), и поэтому
det A = atla22 detdet A = atla22 detОО! + alaa2Idet! + alaa2IdetО Г1 ОО Г1 О
det A = atla22 det
det A = atla22 det
О
О
! + alaa2Idet
! + alaa2Idet
О Г
1 О
О Г
1 О
= alta22 —tii2a21 = ad —be.
Нельзя сказать, что явная формула (8) отличается особой простотой. Тем не менее можно показать, что она обладает свойствами 1—3. Свойство 3, утверждающее, что det 7=1, является наиболее простым: все произведения а^ будут равны нулю, кроме произведений, соответствующих специальной последовательности столбцов о = (1, 2, ..., га), т. е. тождественной перестановке. Этот член дает det 7 = 1. Свойство 2 будет проверено в следующем параграфе, поскольку сейчас нас больше интересует свойство 1: определитель должен быть линейной функцией первой строки alv aw ..., а1п. Для того чтобы убедиться в этом, рассмотрим члены формулы (8), содержащие элемент ап. Такие члены появляются, когда для первой позиции мы берем а=1, в результате чего остается некоторая перестановка о' = (Р, ..., v) из оставшихся номеров столбцов (2, ..., п\ Запишем все эти члены в виде auAti, где коэффициент при а1Т равен
Ац ” 2 («з» • ■ ■ йпА det Ро.. (9) О'
Подобным же образом элемент е12 умножается на некоторое выражение А1г. Складываем все члены с а^, и формула (8) прини-
мает вид
det А = апАи + о12Л12 + • • • + “хпАщ.(Ю)
Ясно, что det А линейно зависит от элементов ана1п первой строки. Поэтому свойство 1 выполняется безотносительно к виду коэффициентов Ау.
Пример. Для матрицы 3-го порядка этот метод дает'
det А ОИ (й22&33«23«32) “И «12 («23«31«21«3э) + ^13 («21«32«22«31)"
«Алгебраические дополнения» Аи, Д12, А13 записаны в скобках.
РАЗЛОЖЕНИЕ det Л НА АЛГЕБРАИЧЕСКИЕ ДОПОЛНЕНИЯ
Нам нужна еще одна формула для определителя. При этом нет необходимости вновь повторять все рассуждения, поскольку фактически она уже нами получена—это формула (10); нужно лишь определить алгебраические дополнения Ау.
Мы знаем, что это число Ау зависит от строк 2, .... п; 1-я строка уже учтена при помощи множителя йу. Более того, множитель ау учитывает также и вклад /-го столбца, так что алгебраическое дополнение Ау должно зависеть только от оставшихся столбцов. Ни одна строка или столбец не могут присутствовать дважды в одном и том же члене, и фактически мы занимаемся разложением определителя на следующую сумму:
«и«21«31«и«21«31«12«22«32«12«22«32«13«23«33«13«23«33аа«22 «23«32 «33«22 «23«32 «33«21«31«21«31«12«23«33«12«23«33Это разложение сводит определительЭто разложение сводит определительпорядкапорядкапорядкапорядка«13«21 агг .«31 «32п к нескольким п— 1; в данном«13«21 агг .«31 «32п к нескольким п— 1; в данном
«и
«21
«31
«и
«21
«31
«12
«22
«32
«12
«22
«32
«13
«23
«33
«13
«23
«33
а
а
«22 «23
«32 «33
«22 «23
«32 «33
«21
«31
«21
«31
«12
«23
«33
«12
«23
«33
Это разложение сводит определитель
Это разложение сводит определитель
порядкапорядка
порядкапорядка
«13
«21 агг .
«31 «32
п к нескольким п— 1; в данном
«13
«21 агг .
«31 «32
п к нескольким п— 1; в данном
случае это определители подматриц 2-го порядка в правой части разложения. Подматрица Му получается выбрасыванием 1-й строки и /-го столбца, и каждый из членов в правой части равен произведению элемента ау на определитель подматрицы Му, взятый с нужным знаком. Эти знаки изменяются при переходе от одного столбца к следующему, и в результате алгебраические дополнения определяются как
Ay-t-l^detMy.(11)
Например второе алгебраическое дополнение Д12 равно а23а31 — — «21«зз1 что совпадаете величиной (—1)1+2 det УИ12. Эти рассуждения остаются в силе для квадратных матриц любого порядка и внимательное рассмотрение формулы (9) подтверждает, что Ап есть определитель подматрицы Л1п, расположенной в правом нижнем углу исходной матрицы А.
Аналогичное разложение справедливо для любой другой строки, например i-й, что можно доказать перестановкой i-й и 1-й строк:
4В. Определитель матрицы А может быть вычислен разложением по алгебраическим дополнениям i-й строки;
det A = auAu-VauAu-V ... -VatnAtn.(12)
Алгебраическое дополнение Aif есть определитель подматрицы Mt)-, взятый с нужным знаком:
Подматрица М{, образуется вычеркиванием i-й строки и j-eo столбца матрицы А.
Эти формулы выражают det А в виде линейной комбинации определителей порядка п—1. Поэтому можно ввести определитель индукцией по п. Для матрицы порядка 1 полагаем det A = alt и затем используем формулу (12) последовательного введения определителей матриц порядка 2, 3 и так далее. Мы предпочли ввести определитель через его свойства, которые значительно легче объяснить, и затем вывести явную формулу (8) и индуктивную формулу (12) из этих свойств.
Наконец, имеется еще одно следствие из того факта, что detA = detAT. Это свойство позволяет нам производить разложение по алгебраическим дополнениям столбца, а не строки; для каждого /
det А = ^аиАи. (13)
= 1
Доказательство состоит в разложении det АТ по алгебраическим дополнениям /-й строки, которая является /-м столбцом матрицы А.
Пример 1. Разложения по алгебраическим дополнениям особенно полезны в тех случаях, когда некоторые строки матрицы почти целиком состоят из нулей, как, например, для треугольной матрицы
Г4000"
300
1 2—1 О'
_6672.
Единственный член, получающийся при разложении по первой строке, есть ац4п, поскольку а12 = а13 = а14 = 0:'
ГЗ 0 *01
°и — 4,°и — 4,Au = det 2Au = det 266—1 0 .7 2.—1 0 .7 2.
°и — 4,
°и — 4,
Au = det 2
Au = det 2
6
6
—1 0 .
7 2.
—1 0 .
7 2.
—1 01. 7 2Г—1 01. 7 2ГРаскладывая Лп по первой строке, приходим к соотношению
—1 01
. 7 2Г
—1 01
. 7 2Г
det Л = 4ЛН = 4 • 3 • det
Проводя редукцию еще раз, получаем
det Л = 4-3.(—1) det [2]-—24.
Тот же самый результат получится при разложении по алгебраическим дополнениям последнего столбца—и этим подтверждается тот факт, что определитель любой треугольной матрицы равен произведению диагональных элементов.
Пример 2. Вновь рассмотрим матрицу конечных разностей
Пусть det Л вычисляется разложением по первой строке. Единственными ненулевыми элементами в ней являются аи = 2 и а12 =—1, так что
det А = о^Л п + Й£2Л{г Н- • • • ~Ь й1пЛjn = 2Л 1( —Л^г-
Лц вычисляется путем вычеркивания первых строки и столбца, что дает подматрицу в точности такого же вида, как и сама А, лишь порядок ее равен п—1. Другое алгебраическое дополнение получается в результате вычеркивания 1-й строки и 2-го столбца:
Л12 = (-1)1+Че1
— 12.
Теперь производим разложение по первому столбцу, в котором содержится лишь один ненулевой элемент:
Г2 ."1
Л12 = (—1)1+3 (—l)det .Л12 = (—1)1+3 (—l)det .. —1—12. —1—12
Л12 = (—1)1+3 (—l)det .
Л12 = (—1)1+3 (—l)det .
. —1
—12
. —1
—12
Мы вновь получили разностную матрицу того же вида, но уже порядка п—2. Если Dn—это определитель матрицы А, содержащей п строк и столбцов, то нами получено рекуррентное соотношение
£)„ = 2Ли-Л12 = 2О„_1-О„_а.
Для матриц малой размерности, при n=s\ и /г = 2, легко вы
£>i = |2| = 2,£>i = |2| = 2,2 — 1 ^=-12=3,2 — 1 ^=-12=3,числить
£>i = |2| = 2,
£>i = |2| = 2,
2 — 1 ^=-12=3,
2 — 1 ^=-12=3,
Рекуррентное соотношение дает последовательно D3=2£>$—Dj=«4, Р4 = б и в общем случае D„=n+1:
£>„ = 2D„_I —D„_2дает п +1 = 2 («) — (п — 1).
Это совпадает с произведением ведущих элементов, вычисленным в начале этого параграфа, и определитель матрицы А равен ti -f-1.
Упражнение 4.3,1. Для матрицы
ГО 1 0 О"
° 1 ° ■
0 1 0 1
.0 0 10-
найти единственный ненулевой член формулы (8), соответствующий единственному способу выбора четырех ненулевых элементов, находящихся в разных строках и столбцах. Вычислить det А, определив, является эта перестановка четной или нечетной.
Упражнение 4.3.2. Произвести разложение указанной выше матрицы А по алгебраическим дополнениям первой строки, сведя det А к определителю 3-го порядка. Проделать ту же операцию с этим определителем (следя за знаком (—1)'+-0 и с получающимся из него определителем 2-го порядка. Вычислить det А.
Упражнение 4.3,3. Найти матрицу 4-го порядка, для которой
det £ D det А det D — det 5 det С-
Здесь А, 5, С и D— подматрицы 2-го порядка и равенство будет иметь место в случае, когда В или С есть нулевая матрица.
Упражнение 4.3,4. Вычислить определитель матрицы
~01~01L1L11 1О 11 О1 11 1О 11 О1 1Г110-Г110-
~0
1
~0
1
L1
L1
1 1
О 1
1 О
1 1
1 1
О 1
1 О
1 1
Г
1
1
0-
Г
1
1
0-
используя либо преобразования строк с целью получения нулей, либо разложение по алгебраическим дополнениям первой строки, либо другими методами. Найти также определители меньших матриц А3 и А2 того же вида, т. е. с нулями вдоль главной диагонали и единицами на остальных местах. Можете ли вы предсказать, чему равен det Ап?
Упражнение 4.3,5, Найти определитель и все девять алгебраических дополнений матрицы
Г1 2 3"
А = 0 4 0 .
0 0 5
Построить новую матрицу В, элементы с индексами i, / которой равны алгебраическим дополнениям Ац. Проверить, что АВ есть единичная матрица, умноженная на определитель det А. Чему равна матрица Л-1?
§ 4.4. ПРИМЕНЕНИЯ ОПРЕДЕЛИТЕЛЕЙ
В этом параграфе мы сделаем попытку систематически описать каждое из применений определителей, упомянутых во введении к этой главе.
Вычисление Д-1. С этой целью воспользуемся разложением определителя по алгебраическим дополнениям t-й строки:
п
det Д = 2 a{JA tJ.(14)
/=1
Составим линейную комбинацию элементов одной строки матрицы с алгебраическими дополнениями другой и покажем, что результат равен нулю:
°=2^/Д// для i^k.(15)
Это получается потому, что фактически мы вычисляем определитель другой матрицы В, полученной в результате выбрасывания t-й строки матрицы Д и замены ее на к-ю. Таким образом, к-я строка присутствует в матрице В дважды и det 5 = 0. Тогда (15) есть обычное разложение матрицы В по t-й строке; алгебраические дополнения Atj не изменялись, поскольку они не зависят от t-й строки, но умножаются на элементы а6у1-й строки матрицы В.
Из (14), (15) получается замечательная формула умножения:
1
^21
й12
^22
... й2п
"Ли Л12
Д21 ...
Л22 • • •
А„Г
ЛП2
_ani
«П2
••• ann_
'det Д
0 d(
_Л1п
0 .
М .
Д2п ...
..0 '
о
Л пп_
(16)
00... МА_
Пример. Алгебраические дополнения элементов матрицы АПример. Алгебраические дополнения элементов матрицы Ааа6161с зуют рицес зуют рицеddсуть Ati = d, А1В = — с, А21 = — Ь, А22 = а. Они обра-суть Ati = d, А1В = — с, А21 = — Ь, А22 = а. Они обра-«присоединенную«присоединеннуюформулыформулы2-го порядка2-го порядка(16) и(16) иматрицу», соответствующую средней мат- обозначаемую через adj А: для матрицматрицу», соответствующую средней мат- обозначаемую через adj А: для матрицadj А =adj А =Aji A2l д ДAji A2l д Дdd—с—с—Ь~а—Ь~аТогда формула аТогда формула аA adj А =A adj А =ссДеля на числоДеля на число(16) принимает вид(16) принимает видЬ' dЬ' dd —bd —b—с—сааad—be0ad—be0det А (еслиdet А (еслионо неоно немую обратную матрицу: д adj А А det Амую обратную матрицу: д adj А А det АравноравноО 1, . =(detA)/. ad—bc\ v ’нулю), получаем искоО 1, . =(detA)/. ad—bc\ v ’нулю), получаем искоилиилид-1 adj А- det А ‘д-1 adj А- det А ‘(17)(17)Каждый элемент обратнойКаждый элемент обратнойматрицы равен соответствующему матрицы А, деленному на det А.матрицы равен соответствующему матрицы А, деленному на det А.алгебраическому дополнению ._Это подтверждает тот факт, что матрица А обратима тогда иалгебраическому дополнению ._Это подтверждает тот факт, что матрица А обратима тогда итолько тогда, когда det А Ф 0, и дает точную формулу для А-1.2. Решение системы Ах — b. Здесь применение определителейтолько тогда, когда det А Ф 0, и дает точную формулу для А-1.2. Решение системы Ах — b. Здесь применение определителейсводитсясводитсяк формулек формулех = А~1Ьх = А~1Ь(adj А) bdet А(adj А) bdet Акоторая вектора,которая вектора,представляет собой просто произведение матрицы ипредставляет собой просто произведение матрицы иделенное на числоделенное на числоdet А. Имеется, однако, другая формаdet А. Имеется, однако, другая формазаписи этого соотношения:записи этого соотношения:4С. Правило Крамера:4С. Правило Крамера:j-й элемент вектора гац а12 ... Ьх .j-й элемент вектора гац а12 ... Ьх .х=А-1Ь равенх=А-1Ь равенdet ByW где В' =det ByW где В' =. (18). (18)_ащ_ащ^«5 1 • 1 Ьп^«5 1 • 1 Ьп• ^пп_• ^пп_
Пример. Алгебраические дополнения элементов матрицы А
Пример. Алгебраические дополнения элементов матрицы А
а
а
61
61
с зуют рице
с зуют рице
d
d
суть Ati = d, А1В = — с, А21 = — Ь, А22 = а. Они обра-
суть Ati = d, А1В = — с, А21 = — Ь, А22 = а. Они обра-
«присоединенную
«присоединенную
формулы
формулы
2-го порядка
2-го порядка
(16) и
(16) и
матрицу», соответствующую средней мат- обозначаемую через adj А: для матриц
матрицу», соответствующую средней мат- обозначаемую через adj А: для матриц
adj А =
adj А =
Aji A2l д Д
Aji A2l д Д
d
d
—с
—с
—Ь~а
—Ь~а
Тогда формула а
Тогда формула а
A adj А =
A adj А =
с
с
Деля на число
Деля на число
(16) принимает вид
(16) принимает вид
Ь' d
Ь' d
d —b
d —b
—с
—с
а
а
ad—be0
ad—be0
det А (если
det А (если
оно не
оно не
мую обратную матрицу: д adj А А det А
мую обратную матрицу: д adj А А det А
равно
равно
О 1
, . =(detA)/. ad—bc\ v ’
нулю), получаем иско
О 1
, . =(detA)/. ad—bc\ v ’
нулю), получаем иско
или
или
д-1 adj А
- det А ‘
д-1 adj А
- det А ‘
(17)
(17)
Каждый элемент обратной
Каждый элемент обратной
матрицы равен соответствующему матрицы А, деленному на det А.
матрицы равен соответствующему матрицы А, деленному на det А.
алгебраическому дополнению ._
Это подтверждает тот факт, что матрица А обратима тогда и
алгебраическому дополнению ._
Это подтверждает тот факт, что матрица А обратима тогда и
только тогда, когда det А Ф 0, и дает точную формулу для А-1.
2. Решение системы Ах — b. Здесь применение определителей
только тогда, когда det А Ф 0, и дает точную формулу для А-1.
2. Решение системы Ах — b. Здесь применение определителей
сводится
сводится
к формуле
к формуле
х = А~1Ь
х = А~1Ь
(adj А) bdet А
(adj А) bdet А
которая вектора,
которая вектора,
представляет собой просто произведение матрицы и
представляет собой просто произведение матрицы и
деленное на число
деленное на число
det А. Имеется, однако, другая форма
det А. Имеется, однако, другая форма
записи этого соотношения:
записи этого соотношения:
4С. Правило Крамера:
4С. Правило Крамера:
j-й элемент вектора гац а12 ... Ьх .
j-й элемент вектора гац а12 ... Ьх .
х=А-1Ь равен
х=А-1Ь равен
det By
W где В' =
det By
W где В' =
. (18)
. (18)
_ащ
_ащ
^«5 1 • 1 Ьп
^«5 1 • 1 Ьп
• ^пп_
• ^пп_
В В у вектор b заменяет собой j-й столбец матрицы А.
лучаемлучаемДоказательство. Разлагая det Sy по алгебраическим дополнениям j-ro столбца (который равен 6), из формулы (13) по-
лучаем
лучаем
det B,=b1A1y+bsA8y + • • • +bBAny.
Это есть в точности /-й элемент произведения (adj Л) Ь. Деля на det Л, получаем /-й элемент вектора х.
Таким образом, каждая из компонент вектора х равна отношению двух определителей, т. е. частному от деления двух многочленов степени п. Этот факт можно было бы установить и из метода исключения Гаусса, но это не было сделано.
Пример. Решение системы
х^ —Зх2 = 0,
2xj + 4^2 = 6 есть
0 310
2 42 4
Объем параллелепипеда. Связь между определителем и объемом не очевидна, однако мы можем предположить для начала, что все углы прямые, т. е. грани взаимно перпендикулярны, и мы имеем дело с прямоугольным параллелепипедом. Тогда объем его равен просто произведению длин ребер lj2.. .1п.
Мы хотим получить ту же самую формулу с помощью определителя. С этой целью вспомним, что ребра параллелепипеда представляются строками матрицы А. В нашем случае эти строки взаимно ортогональны, так что
йи .
«И
-/2
0 01
.0
АА1 =
• ®га_
-.«in
апп-
0
_0
о /L
Величины If суть квадраты длин строк матрицы, т. е. квадраты длин ребер, и нули вне диагонали получаются вследствие ортогональности строк. Переходя к определителям и используя правила 9 и 10, получаем -
ЦЦ..Л = det (ЛЛТ) = (det Л) (det Лт) = (det Л)2.
Извлекая корень, мы и приходим к требуемому соотношению: определитель равняется объему. Знак при det А будет зависеть от того, образуют ребра правостороннюю систему координат вида xyz или левостороннюю yxz.
Если область не прямоугольна, то объем уже не равен произведению длин ребер. В плоском случае (рис. 4.2) «объем» парал-
^елограмма равен произведению длины основания на высоту h. Вектор pb длины h есть разность между вектором второй строки бЬ = (а21, а22) и его проекцией Ор на вектор первой строки. Основной момент доказательства заключается в том, что по свойству б
Рис. 4.2. Площадь паралелограмма равна det А.Рис. 4.2. Площадь паралелограмма равна det А.
Рис. 4.2. Площадь паралелограмма равна det А.
Рис. 4.2. Площадь паралелограмма равна det А.
det А не изменится, если первую строку матрицы умножить на постоянный множитель и вычесть из второй строки. В то же время объем не изменится, если мы перейдем к прямоугольнику с основанием длины 1Х и высотой А. Таким образом, мы приходим к случаю, для которого уже доказано, что объем равен опре
делителю.
Для доказательства в общем п-мерном случае используется та же самая идея, усложняются лишь выкладки. Ни объем, ни определитель не будут изменяться, если мы последовательно для 2-й, 3-й, . .., м-й строк будем вычитать из каждой строки ее проекцию на пространство, порожденное векторами предыдущих строк, что дает в результате «вектор высоты» типа pb, перпендикулярный к основанию. Результатом этого процесса Грама — Шмидта является набор взаимно ортогональных строк, но определитель и объем при этом не изменяются. Поскольку в прямоугольном случае объем равен определителю, то то же самое должно быть и для исходной матрицы.
Доказательство на этом завершается, однако будет полезно еще раз вернуться к простейшему случаю. Мы знаем, что '
detdetГ1 010 1 =1,Г1 010 1 =1,1 0"с 11 0"с 1= 1.= 1.
det
det
Г1 010 1 =1,
Г1 010 1 =1,
1 0"
с 1
1 0"
с 1
= 1.
= 1.
Эти определители дают объемы, или площади, поскольку мы рассматриваем двумерный случай, «параллелепипедов», изображенных на рис. 4.3. Первый представляет собой единичный квадрат, и его площадь, разумеется, равна 1. Второй есть паралле-
лограмм с единичными основанием и высотой; его площадь не зависит от «сдвига», даваемого коэффициентом с, и равна 1.
Площадь = 1Строка^ЗД!Площадь = 1Строка^ЗД!Строка 2= (0,1)Строка 2= (0,1)11Рис. 4.3. Площади квадрата и параллелограмма.Рис. 4.3. Площади квадрата и параллелограмма.4. Формула для ведущих элементов. Последнее применение (в этом весьма утилитарном обзоре определителей) относится к вопросу о нулевых ведущих элементах; мы можем, наконец, установить, когда исключение Гаусса возможно без перестановки строк. Основной момент состоит в том, что первые к ведущих элементов полностью определяются подматрицей Л6, расположен- Оставшиеся строки и них никакого влияния.е " (а/ —ес)/а .i4. Формула для ведущих элементов. Последнее применение (в этом весьма утилитарном обзоре определителей) относится к вопросу о нулевых ведущих элементах; мы можем, наконец, установить, когда исключение Гаусса возможно без перестановки строк. Основной момент состоит в том, что первые к ведущих элементов полностью определяются подматрицей Л6, расположен- Оставшиеся строки и них никакого влияния.е " (а/ —ес)/а .iной в левом верхнем углу матрицы А.ной в левом верхнем углу матрицы А.столбцы матрицыПример.столбцы матрицыПример.А не оказывают наА не оказывают наА =А =*ac_8*ac_8b dhb dhelelа ° L?а ° L?b(ad—be)/аhb(ad—be)/аhОчевидно, что первый ведущий элемент зависит только от первых строки и столбца; это dx = a. Второй ведущий элемент получается после одного шага исключения; он равен d^ = (ad—bc)(a и зависит только от элементов а, Ь, с и d. Оставшаяся часть матрицы А не участвует в рассмотрении до исследования третьего ведущего элемента. Фактически левый верхний угол матрицы А определяет не только ведущие элементы, но и все левые верхние углы матриц L, D и U:Очевидно, что первый ведущий элемент зависит только от первых строки и столбца; это dx = a. Второй ведущий элемент получается после одного шага исключения; он равен d^ = (ad—bc)(a и зависит только от элементов а, Ь, с и d. Оставшаяся часть матрицы А не участвует в рассмотрении до исследования третьего ведущего элемента. Фактически левый верхний угол матрицы А определяет не только ведущие элементы, но и все левые верхние углы матриц L, D и U:”1A = LDU = с/а I_* . *”1A = LDU = с/а I_* . *11(ad—be) la(ad—be) labjaIbjaITo; что мы видим в первых двух строках и столбцах, есть в точности разложение (выписанное ранее в (4)) подматрицы Аг =To; что мы видим в первых двух строках и столбцах, есть в точности разложение (выписанное ранее в (4)) подматрицы Аг =а b с dа b с d. Это общее правило:. Это общее правило:
Площадь = 1
Строка^ЗД!
Площадь = 1
Строка^ЗД!
Строка 2= (0,1)
Строка 2= (0,1)
1
1
Рис. 4.3. Площади квадрата и параллелограмма.
Рис. 4.3. Площади квадрата и параллелограмма.
4. Формула для ведущих элементов. Последнее применение (в этом весьма утилитарном обзоре определителей) относится к вопросу о нулевых ведущих элементах; мы можем, наконец, установить, когда исключение Гаусса возможно без перестановки строк. Основной момент состоит в том, что первые к ведущих элементов полностью определяются подматрицей Л6, расположен- Оставшиеся строки и них никакого влияния.
е " (а/ —ес)/а .
i
4. Формула для ведущих элементов. Последнее применение (в этом весьма утилитарном обзоре определителей) относится к вопросу о нулевых ведущих элементах; мы можем, наконец, установить, когда исключение Гаусса возможно без перестановки строк. Основной момент состоит в том, что первые к ведущих элементов полностью определяются подматрицей Л6, расположен- Оставшиеся строки и них никакого влияния.
е " (а/ —ес)/а .
i
ной в левом верхнем углу матрицы А.
ной в левом верхнем углу матрицы А.
столбцы матрицы
Пример.
столбцы матрицы
Пример.
А не оказывают на
А не оказывают на
А =
А =
*a
c
_8
*a
c
_8
b d
h
b d
h
el
el
а ° L?
а ° L?
b(ad—be)/аh
b(ad—be)/аh
Очевидно, что первый ведущий элемент зависит только от первых строки и столбца; это dx = a. Второй ведущий элемент получается после одного шага исключения; он равен d^ = (ad—bc)(a и зависит только от элементов а, Ь, с и d. Оставшаяся часть матрицы А не участвует в рассмотрении до исследования третьего ведущего элемента. Фактически левый верхний угол матрицы А определяет не только ведущие элементы, но и все левые верхние углы матриц L, D и U:
Очевидно, что первый ведущий элемент зависит только от первых строки и столбца; это dx = a. Второй ведущий элемент получается после одного шага исключения; он равен d^ = (ad—bc)(a и зависит только от элементов а, Ь, с и d. Оставшаяся часть матрицы А не участвует в рассмотрении до исследования третьего ведущего элемента. Фактически левый верхний угол матрицы А определяет не только ведущие элементы, но и все левые верхние углы матриц L, D и U:
”1
A = LDU = с/а I
_* . *
”1
A = LDU = с/а I
_* . *
1
1
(ad—be) la
(ad—be) la
bja
I
bja
I
To; что мы видим в первых двух строках и столбцах, есть в точности разложение (выписанное ранее в (4)) подматрицы Аг =
To; что мы видим в первых двух строках и столбцах, есть в точности разложение (выписанное ранее в (4)) подматрицы Аг =
а b с d
а b с d
. Это общее правило:
. Это общее правило:
4D. Если матрица А представляется в виде LDU, то левые верхние углы удовлетворяют соотношению
(19)(19)^k = EkDkU к
(19)
(19)
Для разных k разложения подматриц Ак «согласованы» друг с другом.
Для доказательства можно либо показать, что этот угол можно преобразовать первым, не затрагивая остальные строки матрицы, либо воспользоваться правилами блочного умножения матриц. Эти правила точно такие же, как и обычное поэлементное правило: LDU = А дает
"U 01 г^ _S cJLo"U 01 г^ _S cJLo01Г^Е 001Г^Е 0ГЛЛ 0 Uk Г" GJ VBDk СЕ. L° G.ГЛЛ 0 Uk Г" GJ VBDk СЕ. L° G.LkDkUk LkDkFBDkUk BDkFA-CEGLkDkUk LkDkFBDkUk BDkFA-CEG
"U 01 г^ _S cJLo
"U 01 г^ _S cJLo
01Г^
Е 0
01Г^
Е 0
ГЛЛ 0 Uk Г" GJ VBDk СЕ. L° G.
ГЛЛ 0 Uk Г" GJ VBDk СЕ. L° G.
LkDkUk LkDkF
BDkUk BDkFA-CEG
LkDkUk LkDkF
BDkUk BDkFA-CEG
Если матрицы разбиты на блоки таким образом, чтобы их можно было перемножить, т. е. квадратные или прямоугольные матрицы имеют нужные для перемножения размеры, их можно умножать по блокам1). Сравнивая последнюю матрицу с А, легко видеть, что угол LkDkUk совпадает с Ак, что и доказывает формулу (19).
Из этого тотчас же вытекают формулы для ведущих элементов. Переходя к определителям в (19), получаем
det Ак = det Lk det Dk det (7k = det Dk = d^.. .dk. (20)
Произведение первых h ведущих элементов равняется определителю Ак; это то же самое правило для Ак, которое мы уже знаем для всей матрицы А = А„. Поскольку определитель матрицы Ak_t выражается аналогичным образом через d^.. .dk_t, мы можем выразить ведущий элемент dk как отношение определителей:
(21)(21)det ^ & dLd2. • • d^det Лд-i dyd^*. -d&_i
(21)
(21)
В приведенном выше примере второй ведущий элемент равнялся в точности этому отношению (ad—bc^a, т. е. определителю матрицы Аг, деленному на определитель матрицы At. (Мы полагаем det.40 = l, так что первый ведущий элемент равен а/1=а.) Перемножая все отдельные ведущие элементы, получаем
, , . det Лх det Д2 det Д„ det 4„ , , .
deMo detAi ... det Дп1 — det Лв
г) Это очень полезное правило, хотя в этой книге оно будет использоваться нескоро.
Формула (21) дает нам, наконец, ответ на исходный вопрос: ведущие элементы отличны от нуля тогда и только тогда, когда все числа det Ak отличны от нуля:
Метод исключения Гаусса без перестановок строк может быть применен к матрице А тогда и только тогда, когда все главные подматрицы Ап Л2Ап невырожденны.
На этом рассмотрение определителей заканчивается, остается лишь сделать дополнительное замечание, как было обещано в начале главы. Это замечание касается непротиворечивости определяющих свойств 1—3. Основным является свойство 2 об изменении знака при перестановке строк, что приводит к правилу для определителя матрицы перестановки Ра. Это было единственным сомнительным моментом в явной формуле (8): верно ли, что независимо от выбранной последовательности перестановок строк, приводящей Ра к единичной матрице, их число является либо всегда четным, либо всегда нечетным? Если это так, то мы вправе называть перестановку «четной» или «нечетной» и соответствующий определитель по правилу 2 равен либо +1, либо — 1.
Начиная с перестановки (3, 2, 1), за один шаг меняя местами 3 и 1, мы получаем естественный порядок (1, 2, 3). Тот же самый результат можно получить, меняя местами 3 и 2, затем 3 и 1 и, наконец, 2 и 1. В обеих последовательностях число перемен нечетное. Утверждается, что четное число перемен никогда не приведет перестановку (3, 2, 1) к естественному порядку.
Приведем доказательство. Рассмотрим каждую пару чисел в перестановке и обозначим через N число пар, в которых большее число стоит первым. Ясно, что N = 0 для естественного порядка (1, 2, 3), т. е. для тождественной перестановки, и N = 3 для перестановки (3, 2, 1), поскольку пары (3, 2), (3, 1) и (2, 1) неправильные. Теперь остается показать, что перестановка является четной или нечетной в зависимости от того, четным или нечетным является число N. Другими словами, если мы начинаем с любой перестановки, то каждая перемена местами двух чисел будет изменять N на нечетное число. Тогда для получения N = 0 (естественного порядка) требуется число перемен такой же четности (четное или нечетное), как и исходное N.
Если переставляются соседние числа, то ясно, что N изменяется либо на 4-1, либо —1; оба числа нечетные. Поэтому, если заметить, что перемена местами любых двух чисел может быть осуществлена нечетным числом перемен местами соседних чисел, то доказательство будет завершено. Это наблюдение легко подтверждается примером; чтобы поменять местами первый и
четвертый элементы в перестановке (это числа 2 и 3), пять раз (нечетное число) меняются местами соседние числа:
(2, 1, 4, 3)->(1, 2, 4, 3) —* (1, 4, 2, 3)->
^(1, 4, 3, 2) —*(1, 3, 4, 2)—*(3, 1, 4, 2).
В общем случае, чтобы поменять местами элементы, находящиеся на местах к и I, требуется I—к раз поменять местами соседние элементы для перемещения элемента с места к на место I, и /—к—1—для перемещения элемента, первоначально находившегося на месте / (и который теперь находится на месте /—1), на место к. Поскольку число (/—к) + у—к—1) нечетное, доказательство закончено. Определитель не только обладает всеми свойствами, указанными ранее, он даже существует.
УпражнениеУпражнение4.4.1. Используя (17), обратить матрицы
Упражнение
Упражнение
А=Г1А=Г1УпражнениеУпражнениеL04.4.2. НайтиL04.4.2. Найти110110х,х,П, 1П, 1В = ГаВ = ГассЬ' dЬ' dу и г по правилуу и г по правилуКрамера:Крамера:
А=Г1
А=Г1
Упражнение
Упражнение
L0
4.4.2. Найти
L0
4.4.2. Найти
1
1
0
1
1
0
х,
х,
П, 1
П, 1
В = Га
В = Га
с
с
Ь' d
Ь' d
у и г по правилу
у и г по правилу
Крамера:
Крамера:
х-\-4у— 2=1,*+ Z/+ 2 = 0,2х 4-Зг = 0.
Упражнение 4.4.3. Найти якобиан J преобразования прямоугольных координат х, у, г в сферические координаты г, 6, ф: х = г cos 6 cos ф,(/ = г sin 9 cos ф, г = г sin ф.
Упражнение 4.4.4. (а) Начертить треугольник с вершинами А = (2, 2), В = (—1, 3), С = (0, 0). Рассматривая его как половину параллелограмма, ,1 а г Г 2
объяснить, почему его площадь равняется — det ^ .
(Ь) Предполсеким, что третья вершина вместо начала координат находится в точке С»(1, —4). Вычислить площадь и затем проверить формулу
pi У1 площадь (АВС) = -^ det х2 у2 ' L^a Узpi У1 площадь (АВС) = -^ det х2 у2 ' L^a Уз11Г 21 =ydet -11JL 111Г 21 =ydet -11JL 123— 423— 4Г1LГ1L
pi У1 площадь (АВС) = -^ det х2 у2 ' L^a Уз
pi У1 площадь (АВС) = -^ det х2 у2 ' L^a Уз
11Г 2
1 =ydet -1
1JL 1
11Г 2
1 =ydet -1
1JL 1
2
3
— 4
2
3
— 4
Г
1
L
Г
1
L
Указание: вычитая последнюю строку из предыдущих, получаем
det Г 22det Г 22— 13L 1 -4— 13L 1 -411 = detr 11—21_1 L 111 = detr 11—21_1 L 16 O"l = det Г 17 0[—2-4 1.6 O"l = det Г 17 0[—2-4 1.6'76'7
det Г 22
det Г 22
— 13
L 1 -4
— 13
L 1 -4
11 = detr 1
1—2
1_1 L 1
11 = detr 1
1—2
1_1 L 1
6 O"l = det Г 1
7 0[—2
-4 1.
6 O"l = det Г 1
7 0[—2
-4 1.
6'
7
6'
7
Как нрвые вершины А'=(1, 6), В' = (—2, 7) и С'=(0, 0) связаны с заданными А, В и С? Сделать рисунок.
Упражнение 4.4.5. Объяснить в терминах объемов, почему det ЗА = 3" det А для любой матрицы А порядка п.
Упражнение 4.4.6. Предугадать, чему равны ведущие элементы матрицы ~2 I П
А = 4 50 ,
_0 6 — 4j и найти их методом исключения. Имеется ли перестановка строк, которая позволит избежать появления нулевых ведущих элементов?
Упражнение 4.4.7. Перестановка (п, п—1, ..., 1) чисел (1, 2, ..., п) четна или нечетна?
Упражнение 4.4.8. Найти последовательность перемен чисел местами, приводящих перестановку о = (5, 3, 1, 2, 4) к (1, 2, 3, 4, 5). Является ли а четной или нечетной?
Упражнение 4.4.9. Определить, являются векторы (1, 3, 2), (2, 4, 4) и (1, 5, 2) линейно независимыми или нет, с помощью образованного ими определителя.
ОБЗОРНЫЕ УПРАЖНЕНИЯ
Где нужно разместить нули в матрице размера 4X4, чтобы при минимальном их числе гарантировать равенство нулю ее определителя?
Где нужно разместить нули и единицы в матрице размера 4x4, чтобы при минимальном их числе гарантировать равенство единице ее определителя?
Найти определитель матрицы
“1 1 1 П
1112
113 1'_1 4 1 1_
Если В = М-^АМ, то почему det6 = det4?
Дать контрпример к равенству det (А 4-6) = det А 4- det В.
Умножить первую строку матрицы А на 3, обозначив новую матрицу через В, а затем вычесть первую строку матрицы В из второй строки, обозначив полученную матрицу через С. Как связаны det С и det Л?
Решить систему 3«4-2o = 7, 4и4~3о = 11 по правилу Крамера.
Если элементы матрицы А — целые числа и det Л равен 1 или —1, то как показать, что элементы матрицы Л-1— тоже целые числа?
Если все элементы матриц А и Л-1 — целые числа, то как показать, что оба определителя равны 1 или —1? Указание: чему равно произведение det Л на det Л-1?"
Найти алгебраические дополнения и обратную матрицу для
3 5"
6 9J ’■
Чему равен объем параллелепипеда с четырьмя вершинами в точках (0, 0, 0), (— 1,2, 2), (2, —1,2) и (2, 2, —1)? Где находятся остальные четыре вершины?
Сколько членов содержится в формуле для определителя матрицы 5-го порядка и сколько из них равно нулю, если а21 = 0?
Если сумма элементов в каждой из строк матрицы А равняется нулю и вектор-столбец х состоит из единиц, то чему равен Ах? Как показать, что det А = О?
Почему имеется четное число перестановок набора (1, 29)и
почему ровно половину из них составляют нечетные перестановки?
Глава 5
СОБСТВЕННЫЕ ЗНАЧЕНИЯИ СОБСТВЕННЫЕ ВЕКТОРЫ
, ВВЕДЕНИЕ
Этой главой начинается «вторая часть» теории матриц. Первая часть почти целиком относилась к линейным системам, которые решались методом исключения. В дальнейшем метод исключения будет играть лишь вспомогательную роль. Новые задачи по- прежнему будут решаться путем упрощения вида матрицы, приведения ее к диагональной или верхней треугольной, но основным методом уже не будет метод вычитания из одной строки матрицы другой строки, умноженной на постоянную. Теперь мы заинтересованы в сохранении собственных значений матрицы, а не ее пространства строк, а элементарные преобразования строк для этой цели непригодны.
Глава об определителях служила для перехода от задачи Ах = Ь к задаче на собственные значения. В обоих случаях использование определителей приводит к «формальному решению»: к правилу Крамера для задачи Ах = Ь и к многочлену det (Л—X/), корни которого являются собственными значениями матрицы А. (Отметим, что все матрицы теперь будут предполагаться квадратными, поскольку говорить о собственных значениях прямоугольной матрицы так же бессмысленно, как и о ее определителе.) Как и в первом случае, определители можно практически использовать для решения задачи на собственные значения, если п = 2 или 3; для больших п вычисление собственных значений представляет собой значительно более трудную задачу, чем решение уравнения Ах = Ь, и даже метод Гаусса ничем здесь не поможет. Но об этом позже.
Для начала нужно понять, что представляют собой собственные значения и для чего они служат. Одно из применений собственных значений, а именно то, с помощью которого мы их введем, связано с решением системы обыкновенных дифференциальных уравнений. При этом читателю не нужно быть специалистом в области дифференциальных уравнений, достаточно лишь
уметь дифференцировать обычные функции типа хп, sinx и ех. В качестве примера рассмотрим систему двух уравнений
^ = 4у—5ш, у = 8 при / = О,
— Зю, w = 5 при 1 = 0.
Это начальная задача в отличие от краевой задачи из § 1.6. Решение задано лишь в момент времени 1 = 0, а не на обоих концах некоторого отрезка, т. е. нас интересует неустановившийся режим, а не стационарный. Решение изменяется во времени от заданных начальных значений, и нам требуется проследить за этой эволюцией.
Эту систему легко записать в матричной форме. Обозначим вектор неизвестных через и, его начальное значение через и0 и матрицу коэффициентов через А;
и (/) =и (/) =и (Оф (Ои (Оф (О«о =«о =4 —52 —34 —52 —3
и (/) =
и (/) =
и (Оф (О
и (Оф (О
«о =
«о =
4 —5
2 —3
4 —5
2 —3
В этих обозначениях система принимает вид
(2)(2)^- = Аи,и = и0 при 1 = 0.
(2)
(2)
Это обычная постановка задачи. Отметим, что уравнение (2) имеет первый порядок, поскольку производные более высокого порядка отсутствуют, и оно является линейным относительно искомой функции. Наиболее общая линейная начальная задача для системы первого порядка будет иметь вид
-^ya А (1)и-Щ1), и = и0 при 1 = 0.(3)
В нашем случае задача (2) является однородной (й = 0) и имеет постоянные коэффициенты, т. е. матрица А не зависит от времени.
Как найти решение этой задачи? Если бы она содержала одну неизвестную функцию вместо двух, то ответить на этот вопрос было бы легко. В этом случае векторное дифференциальное уравнение превращается в скалярное и в случае его однородности и постоянства коэффициентов имеет вид
^- = аи,и = и0 при 1 = 0.(4)
Решение этой задачи хорошо известно:
u^ = eatue.(5)
В начальный момент времени 1 = 0 решение принимает требуемое значение и0. Решение неустойчиво при а > 0, нейтрально устой-
чиво при а = 0 и устойчиво при а < 0; оно либо уходит в бесконечность, либо остается ограниченным, либо стремится к нулю (при t —>-оо). Если а—комплексное число, а = а-Н’Р, то те же критерии должны применяться к вещественной части а. Решение имеет вид е<ОА1^*ий, и мнимая его часть дает осциллирующий член etpz = cos р^ Д-Z sin р^, в то время как устойчивость определяется множителем еа!.
Пожалуй, хватит заниматься одним уравнением. Перейдем теперь непосредственно к системам и будем искать их решения с той же экспоненциальной зависимостью от времени, которая была установлена в скалярном случае. Другими словами, будем искать решения в виде
v^ = ^‘y,
w^=eXtz,
или, в векторной записи,
и^ = ех,х.(6Ь)
Подставляя это гипотетическое решение в систему дифференциальных уравнений, получаем
Хеыу = ^еиу—Ь^'г,
Хемг = 2ех<у —Зе^г.
Множитель ev является общим для всех членов, и на него можно сократить. Это сокращение возможно в силу предположения, что для обоих неизвестных показатель X один и тот же; если бы v и w были пропорциональны различным экспоненциальным функциям ех* и е°1, то эти функции присутствовали бы в каждом из уравнений, и произвести сокращение было бы невозможно. Но в нашем случае это возможно, и мы получаем систему
4t/ — 5г = Ху,
2y—3z = Xz.(7)
Подстановка и = еих в du/dt = Аи дает Хемх= Аемх и, после сокращения.
Ах = Хх.(8)
Это основное уравнение относительно собственного значения X и собственного вектора х. Отметим, что это уравнение является нелинейным, поскольку оно содержит произведение обоих неизвестных X и х. Если мы знаем число X, то уравнение относительно вектора х становится линейным; мы можем записать Х1х вместо Хх1) и перенести этот член в левую часть:
.(А — X/) х = 0.(9)
!) Единичная матрица вводится для единообразия; выражение (Л—Х)х короче, но не является вполне корректным.
Очевидно, что матрицыОчевидно, что матрицысобственный векторсобственный векторх лежит в нуль-пространствех лежит в нуль-пространствеА — М =А — М =4—X24—X2— 5‘—3—X 1— 5‘—3—X 1
Очевидно, что матрицы
Очевидно, что матрицы
собственный вектор
собственный вектор
х лежит в нуль-пространстве
х лежит в нуль-пространстве
А — М =
А — М =
4—X
2
4—X
2
— 5‘
—3—X 1
— 5‘
—3—X 1
Здесь имеется одно существенное обстоятельство, а именно: для каждого значения X вектор х = 0 всегда удовлетворяет уравнению Ах = Хх, т. е. нуль-пространство любой матрицы содержит элемент х = 0. Но нулевой вектор бесполезен при построении решения и (/) из экспонент емх. Поэтому нас интересуют только те значения X, для которых имеется ненулевой собственный вектор х. Нуль-пространство матрицы А—X/ имеет смысл рассматривать только тогда, когда оно содержит некоторый ненулевой вектор, и поэтому ранг этой матрицы должен быть меньше, чем ее порядок. Другими словами, матрица А —X/ должна быть вырожденной.
Критерий вырожденности дается определителем матрицы.
5А. Число X является собственным значением матрицы А с соответствующим ненулевым собственным вектором тогда и только тогда, когда
det (А— Х/) = 0.(10)
Это характеристическое уравнение для матрицы А.
В нашем примере
detdet4—X —52—3—X4—X —52—3—X- (4—X) (— 3—X) + 10 = X2 —X—2.- (4—X) (— 3—X) + 10 = X2 —X—2.
det
det
4—X —5
2—3—X
4—X —5
2—3—X
- (4—X) (— 3—X) + 10 = X2 —X—2.
- (4—X) (— 3—X) + 10 = X2 —X—2.
Характеристический многочлен X—X—2 разлагается в произведение (Х + 1)(Х—2), и матрица А имеет два различных собственных значения Хх =—1 и Х2 = 2. Каждому из этих значений соответствует пространство собственных векторов, удовлетворяющих уравнению Ах = Хх или (А — Х/)х = 0. Вычисления проводятся отдельно для X, и Х2:
Х1 = —1:Х1 = —1:Г5 — 51 у 1 ГО
Х1 = —1:
Х1 = —1:
И—М)х = 2—2 г = 0
и решением является любой вектор,
кратный X] =
1
1
Хг=2:
и решением является любой вектор,
кратный х2 =
'5
.2. 1
Собственные векторы определены неоднозначно, поскольку любой вектор из нуль-пространства матрицы А—XI (которое мы называем собственным пространством, соответствующим Л) является собственным вектором, и поэтому нам нужно ввести в этом пространстве базис. В нашем случае оба собственных пространства являются одномерными и они порождены соответственно векторами хх и х2.
Отсюда, возвращаясь к дифференциальному уравнению, получаем два чисто экспоненциальных решения:
и = eXiix1 = e-tи = eXiix1 = e-t1111и и = еХ1*х2 = е^и и = еХ1*х2 = е^
и = eXiix1 = e-t
и = eXiix1 = e-t
1
1
1
1
и и = еХ1*х2 = е^
и и = еХ1*х2 = е^
Поскольку исходное уравнение является линейным и однородным, оно допускает суперпозицию решений, т. е. любая комбинация двух его частных решений
и = c1exi<x1 +с2еХг<х2 (11)
вновь будет его решением. Сюда входят два произвольных параметра Cj и с2, и естественно предполагать, что при надлежащем их выборе будет удовлетворяться начальное условие и = ий при / = 0:
сгххА-сгхг = ий, (12) или
1'Г51 +21'Г51 +2и (/) = 3e-tи (/) = 3e-t(14)(14)Отсюда ^ = 3 и с2 = 1, и требуемое решение исходного уравнения (1) есть
1'Г5
1 +2
1'Г5
1 +2
и (/) = 3e-t
и (/) = 3e-t
(14)
(14)
Записывая отдельно каждую из двух компонент, получаем v (/) = Зе_/+ 5е2/, w^ = Зб-<4-2е2<.
Начальные условия и0 = 8 и щ0 = 5 проверяются легко.
Из приведенного примера возникает впечатление, что собственные значения и собственные векторы являются ключом к решению уравнений. Однако этот пример не показывает их физического смысла. Собственные значения и собственные векторы важны сами по себе, а не только как часть приема по отысканию решения и. Вероятно, наиболее известным является примерх) с солдатами, идущими по мосту. При переходе моста они пере-
етают идти в ногу. Причина состоит в том, что частота, с которой они маршируют, может совпасть с одной из собственных частот колебаний моста и привести к резонансу. (Так же, как в детских качелях; вы вскоре замечаете естественную частоту качания и, попадая в такт, раскачиваетесь сильнее.) Инженер пытается увести естественные частоты своего моста или ракеты от тех, которые могут быть вызваны ветром или колебаниями топлива. Другую крайность представляет биржевый игрок, который проводит жизнь, пытаясь попасть в такт с естественными колебаниями рынка. Собственные значения являются наиболее важной чертой практически любой динамической системы.
Остановимся теперь и посмотрим, что уже сделано и что остается сделать. Это введение показывает, каким образом собственные значения и собственные векторы матрицы А появляются естественно и автоматически при решении уравнения du/dt = Аи. Такое уравнение имеет «чисто экспоненциальные решения» вида и = емх; собственное значение дает скорость, с которой растет или убывает собственный вектор х. Другие решения будут комбинациями этих «чистых» решений, составленными таким образом, чтобы удовлетворялись начальные условия.
Основным здесь было уравнение Ах = %х. Большая часть векторов х не будет удовлетворять такому уравнению независимо от того, является ли % собственным значением или нет. Обычно к меняет направление после умножения на А, так что вектор Ах не будет кратным х. Это означает, что только специальные числа X являются собственными значениями и только специальные векторы являются собственными векторами. Разумеется, если А кратна единичной матрице, то ни один из векторов не будет изменять своего направления и все они будут собственными. Но в обычном случае собственных векторов мало и они направлены в разные стороны.
Пример. Представим себе какое-либо вращение земного шара. Тогда существует одно направление, называемое осью вращения, которое остается неизменным. Оно не обязательно является осью, вокруг которой на самом деле происходит вращение Земли, но все равно должны существовать некоторые «северный и южный полюсы», остающиеся неподвижными1). Эти полюсы суть собственные векторы с собственным значением, равным 1. В общем случае все остальные точки находятся в движении и не видно никаких других собственных векторов. Единственные исключения возникают, когда вращение происходит на 360° (и тогда все векторы собственные) и на 180°. В последнем случае плоскость экватора заполнена собственными векторами; каждое направление в этой плоскости
х) Я думаю, что это не так очевидно, но это правда — нельзя повернуть Землю так, чтобы двигались все точки.
изменяется в точности на противоположное и собственное значение равняется —1. Эта экваториальная плоскость соответствует случаю «двумерного собственного пространства»; одно собственное значение X = — 1 имеет два независимых собственных вектора и, следовательно, целую плоскость собственных векторов.
С одной стороны, этот пример хорош, с другой—нет. Во- первых, собственные значения в общем случае не равны ± 1; векторы обычно либо растягиваются, либо сжимаются. Более тиГи, это было вращёнйё Трёхмерного Пространства R3, НО, кроме случаев 180° и 360°, имелась лишь одна ось собственных векторов, а мы надеялись найти три. В применении к дифференциальным уравнениям нам будут нужны три различных частных решения, чтобы удовлетворить начальным условиям; одного собственного значения и одного собственного вектора недостаточно. Для того чтобы найти два других, нужно ввести мнимое число I. Если вещественный мир R3 допускает слишком мало решений, то нужно искать их в пространстве С3 векторов с комплексными компонентами. Если мы допускаем комплексные числа, то любая матрица размера пхп будет иметь п собственных значений. Тройка собственных значений и собственных векторов для этого примера вращающейся Земли будет найдена в § 5.2, а в § 5.5 мы осуществим полный переход от вещественных векторов и матриц к комплексному случаю.
Истинная цель этой главы состоит, однако, в другом. Важнее всего сейчас объяснить, как система уравнений «распадается» после отыскания собственных векторов. Эти собственные векторы являются «гармониками» системы и независимы друг от друга. Мы можем наблюдать за поведением каждого из собственных векторов в отдельности, а затем комбинировать эти гармоники для отыскания решения. Выражая это же другими словами, мы диагонали- зуем исходную матрицу.
Мы предполагаем посвятить § 5.2 теории диагонализации, а оставшиеся параграфы—ее применениям, сначала к разностным уравнениям, числам Фибоначчи и марковским процессам, а затем к дифференциальным уравнениям. В каждом из примеров мы должны начинать с вычисления собственных значений и собственных векторов; избежать этого не удастся. Но затем примеры пойдут в настолько разных направлениях, что краткое резюме окажется невозможным. Можно лишь отметить, что работать с симметрическими матрицами особенно легко, а с некоторыми «дефектными матрицами» — особенно трудно. Они не обладают полным набором собственных векторов, не диагонализуются и для них не проходит техника «гармоник». Разумеется, ими следует заниматься, но мы не намерены допустить, чтобы это заняло всю оставшуюся часть книги.
Чтобы завершить это введение, дадим обзор некоторых основных фактов, касающихся собственных значений и собственных
векторов, т, е. задачи Ах = Хх. Если задана матрица А порядка п, то задача состоит в отыскании тех особых векторов х, на которые А действует как простое умножение—направления векторов Ах и х совпадают. С этой целью мы сначала находим собственные значения, переписывая Хх в виде XI х и перенося этот член в левую часть: (А—Х/)х = 0. Собственный вектор матрицы А есть вектор из нуль-пространства матрицы А—XI. Другими словами, основной вопрос состоит в следующем: если А сдвигается на различные кратные единичной матрицы, то какой сдвиг делает ее вырожденной"? Эти сдвиги дадут собственные значения, и мы можем затем вычислить собственные векторы.
Если сама матрица А вырожденна, то одна возможность состоит в том, чтобы вообще не производить сдвига. Одно из собственных значений вырожденной матрицы есть Х = 0, и ее нуль- пространство содержит соответствующие собственные векторы. Но в отличие от первой части книги в вырожденности матрицы теперь нет ничего особенного; это означает лишь, что Х = 0 является собственным значением этой матрицы. Является ли А вырожденной или нет, все ее собственные значения равноправны: комбинация А—XI вырожденна и нуль-пространство этой комбинации есть пространство собственных векторов, соответствующих X.
Чтобы определить, когда А — XI вырожденна, мы вычисляем ее определитель. Этот определитель есть многочлен от X степени п, называемый характеристическим многочленом матрицы А. Уравнение det (А—Х1^ = ^ есть характеристическое уравнение, и его корни X,, Х2, . .., Хп (которые могут быть, а могут и не быть вещественными числами и среди которых могут оказаться или не оказаться совпадающие) суть собственные значения матрицы А. Суммируя, получаем:
Каждое из следующих условий является необходимым и достаточным для того, чтобыХбыл собственнымзначениемдля А: (1) Существует ненулевой вектор х, такой, что Ах — Хх.
Матрица А—XI вырожденна.
det (А— Х/) = 0.
Пример. Рассмотрим симметрическую матрицу г 1 — 101
. А =
-12-1 .
0—11_
Ее характеристический многочлен есть
'1—X — 10
det(A—Х/)=—1 2—X —1 = — Х3 + 4Х»—ЗХ.
0—11—X
Следовательно, характеристическое уравнение имеет вид — Х3 + 4Х2 —ЗХ = —Х(Х —1)(Х—3) = 0,
и все собственные значения вещественны и различны: 2^ = 0, Х2 = 1, Д = 3. Отдельно для каждого собственного значения Х1 ищем соответствующий собственный вектор xt:
^ = 0:
(Л—0/)Xj =
1
1
_ 0
— 1
2
— 1
0
— 1
1_
^ =
’0 0
_0_
и xt =
"1 1
Д„
•
* 0
— 1
о'
"о"
Г
Х3=1:
(Д —Л хг =
— 1
_ 0
"—2
1
— 1
— 1
— 1
0_
0"
+ =
0
_0_ "О’
И Х2 =
0
к
1
л3 = 3:
(Л—3/) х3 =
— 1
0
— 1
— 1
— 1
— 2
Хд =
0
0
И Хд = —
2
1_
Это обилие вычислений неизбежно, и, разумеется, нами был выбран хороший пример: большинство кубических многочленов нельзя разложить с такой легкостью, как данный. Нет сомнения, что задача на собственные значения алгебраически и вычислительно значительно более трудна, чем решение системы Ах = Ь. Для линейной системы конечное число шагов процесса исключения дает точный ответ за конечное время. (Или, что эквивалентно, правило Крамера дает точную формулу для решения.) В случае с собственными значениями не может существовать такого рода шагов и такой формулы, или Галуа перевернулся бы в гробу: характеристический многочлен матрицы порядка 5 имеет пятую степень, а он доказал, что для нахождения корней многочлена пятой степени не существует алгебраической формулы. Все, что возможно,—это несколько простых тестов для уже вычисленных собственных значений, и мы упомянем два из них:
5С. Сумма п собственных значений равняется сумме п диагональных элементов матрицы А;
^i + • ■ • + \, = +1+ • • •.
Эта сумма называется следом матрицы А. Кроме того, произведение п собственных значений равняется определителю матрицы А.
Эти свойства подтверждаются приведенным выше примером, в котором след А равен 0+14-3=1+2+1 = 4 и определитель равен 0-1-3 = 0.
Упражнение 5.1.1. Найти собственные значения и собственные векторы
л Г1 матрицы А = Iл Г1 матрицы А = I. Проверить, что ее след равен сумме собственных зна
л Г1 матрицы А = I
л Г1 матрицы А = I
чений, а определитель — их произведению.
ное уравнение du(dt = Au, «0 =ное уравнение du(dt = Au, «0 =66Упражнение 5.1.3. Предположим,- что матрицу А, вычтя из нее 11, т. е.Упражнение 5.1.3. Предположим,- что матрицу А, вычтя из нее 11, т. е.мы сдвинули указанную вышемы сдвинули указанную вышеВ = А —11 =В = А —11 =— 62— 62— п— п— 3— 3Упражнение 5.1.2. При той же самой матрице А решить дифференциально!.
ное уравнение du(dt = Au, «0 =
ное уравнение du(dt = Au, «0 =
6
6
Упражнение 5.1.3. Предположим,- что матрицу А, вычтя из нее 11, т. е.
Упражнение 5.1.3. Предположим,- что матрицу А, вычтя из нее 11, т. е.
мы сдвинули указанную выше
мы сдвинули указанную выше
В = А —11 =
В = А —11 =
— 6
2
— 6
2
— п
— п
— 3
— 3
Чему равны собственные значения и собственные векторы матрицы В и как они связаны с соответствующими величинами для Л?
Упражнение 5.1.4. Используя пример с матрицей 3-го порядка, собственные значения и собственные векторы которой были вычислены выше, подобрать константы с; так, чтобы решение u = cteXlfx1 + c2ex,,<x24-c3e?*3ix<> удовлетворяло начальному условию п0=[131]1.
Не следует путать собственные значения матрицы и ее диагональные элементы. Обычно они совершенно различные. Тем не менее, рискуя внести некоторую путаницу, мы все же укажем одну ситуацию, в которой эти числа совпадают.
5D. Если матрица А треугольная—она может быть верхней треугольной, нижней треугольной или диагональной, — то собственные значения Xf, ..., Хп в точности совпадают с диагональными элементами аи, ..., апп.
Причина этого явления станет ясна из примера. Если
то ее характеристический многочлен есть
Определитель в точности равен произведению диагональных элементов. Очевидно, что корни равны X=l, X = 3/4 и Х=1/2; собственные значения сразу находились на главной диагонали.
Упражнение 5.1.5. Найти собственные векторы этой треугольной матрицы, а также собственные значения и собственные векторы диагональной матрицы
А =А =Г3 о.0Г3 о.0о о-
А =
А =
Г3 о
.0
Г3 о
.0
о
О 2.
Эти примеры, в которых собственные значения находятся сразу же по виду матрицы, указывают на главную тему всей главы: привести матрицу А к диагональной или треугольной форме, не изменяя ее собственных значений. Подчеркнем еще раз, что разложение Гаусса A = LU для этой цели не подходит. Собственные значения матрицы U расположены на ее диагонали, но это не есть собственные значения матрицы А.
Имеется еще одна ситуация, в которой легко проводить вычисления. Предположим, что мы уже нашли собственные значения и собственные векторы матрицы А. Тогда собственные значения матрацы А2 в точности равны XX, .. ,,Х^ и каждый собственный вектор матрацы А является также и собственным вектором для А2. Доказательство типично для математики: если мы попытаемся исследовать det (А2 — X!), то мы в нем погрязнем, но если начать с Ах = Хх, то все становится ясным. Вновь умножая на А, получаем
А2х = А Хх = Х Ах = Х^х.
Отсюда следует, что X2 является собственным значением для А2 с тем же собственным вектором х. Если первое умножение на А не изменило направления вектора х, то же самое будет и при втором.
Это рассуждение теряет силу, когда имеются две различные матрицы. Предположим, что X есть собственное значение матрицы А, а р—собственное значение В. Тогда Хр, вообще говоря, не является собственным значением матрицы АВ. Попытка доказательства имела бы такой вид: если Ах = Хх и Вх — рх, то А Вх = Арх = рАх = рХх. Ошибка заключена в предположении, что А и В имеют один и тот же собственный вектор х. В общем случае это не так.
Упражнение 5.1.6. Привести пример, показывающий, что собственные значения могут изменяться, когда кратное одной строки вычитается из другой.
Упражнение 5.1.7. Пусть X — собственное значение матрицы А и х—соответствующий собственный вектор;
Показать, что этот же самый х является собственным вектором матрицы В = А—7/, и найти соответствующее собственное значение. Результат должен подтверждать упр. 5.1.3.
Предполагая, что X ^ 0, показать, что х также является собственным вектором матрицы А~1, и вновь найти собственное значение.
Упражнение 5.1.8. Показать, что определитель равняется произведению собственных значений, представив характеристический многочлен в виде
.det (Л—Х/) = (Х1—Л) (Х3—Л) ... (Х„—X)(15)
и выбирая X очевидным образом.
Упражнение 5.1.9. Показать в два этапа, что след матрицы равняется сумме собственных значений. Во-первых, вычислить коэффициент при (—Х)"~1 в правой части (15). Во-вторых, найти все члены в
det (Л ""X/) = det
ti1T X ° 21
til 2•
^22 — ^•
•Q-in
•a2n
^П2•
« ^nn r"T
содержащие (—X)"-1. Объяснить, почему все они получаются из произведений элементов главной диагонали и найти коэффициент при (—X)"-1 в левой части (15). Сравнить. ■
Упражнение 5.1.10. (а) Построить матрицы А, В размера 2x2, такие, что собственные значения матрицы АВ не равны произведениям собственных значений матриц А и В и собственные значения А 4-В не. равны суммам их собственных значений.
Проверить, что при этом, однако, сумма собственных значений матрицы Л-ф-В равняется сумме всех собственных значений матриц А и В и что то же самое справедливо для произведений. Почему это так?
Упражнение 5.1.11. Доказать, что А и Лт имеют одинаковые собственные значения, сравнивая их характеристические многочлены.
Упражнение 5.1.12. Найти собственные значения и собственные векторы . Г3 41 матрицы Л =I .
Упражнение 5.1.13. Найти собственные значения и проверить, что их сумма равняется следу, для матрицы
ГО 0 2Пл = | ООО
L2 0 -0_
§ 5.2. ДИАГОНАЛЬНАЯ ФОРМА МАТРИЦЫ
Начнем с одного существенного замечания. Оно исключительно простое и будет использоваться в каждом параграфе этой главы.
Предположим, что матрица А размера пхп имеет п линейно независимых собственных векторов. Тогда если взять эти векторы в качестве столбцов матрицы S, то S~1AS будет диагональной матрицей Л, у которой на диагонали стоят соб-
ственные значения матрицы Д:
Г^
(16)(16)S~MS = A =
(16)
(16)
Доказательство. Расположим собственные векторы xt в столбцах матрицы S и вычислим произведение ДЗ. Умножая поочередно на каждый столбец, получим
AS= A Xf х2AS= A Xf х2Прием состоит в разложении последней матрицы в совершенноПрием состоит в разложении последней матрицы в совершенно
AS= A Xf х2
AS= A Xf х2
Прием состоит в разложении последней матрицы в совершенно
Прием состоит в разложении последней матрицы в совершенно
Рассматривая это просто как упражнение по перемножению матриц, важно поставить эти матрицы в нужном порядке. Если А будет стоять до 3, то Xt будет умножаться на элементы первой строки, в то время как этот множитель нужен нам в первом столбце. В данном случае мы имеем правильное произведение ЗА. Поэтому
ДЗ = ЗА, или 3-1ДЗ = А, или Д = ЗАЗ-1. (17)
Матрица 3 обратима, поскольку ее столбцы (собственные векторы) предполагались линейно независимыми.
Прежде чем перейти к примерам, сделаем четыре замечания.
Замечание 1. Если матрица А не имеет кратных собственных значений—числа Xt, ...,Хп различны,—то п собственных векторов автоматически являются независимыми (см. 5F ниже). Поэтому любая матрица с различными собственными значениями может быть приведена к диагональному виду.
Замечание 2. Диагонализующая матрица 3 неединственна. Во-первых, собственный вектор х может умножаться на константу и останется при этом собственным вектором. Поэтому мы можем умножать столбцы матрицы 3 на любые ненулевые константы, что дает новую диагонализующую матрицу 3. Кратные собственные значения дают даже большую свободу, и для тривиального примера А = I подойдет любая обратимая матрица 3: S~l/S всегда диагональна (и диагональная матрица Л есть просто /). Это отражает тот факт, что для единичной матрицы все векторы являются собственными.
Замечание 3. Равенство ДЗ = ЗЛ выполняется только в том случае, когда столбцы матрицы 3 являются собственными векторами матрицы А. Другие матрицы S не дадут диагональной матрицы Л. Причина этого заложена в правилах умножения матриц. Предположим, что первый столбец матрицы 3 есть некоторый вектор у. Тогда первый столбец матрицы ЗЛ есть Xty. Если это совпадает с первым столбцом матрицы ДЗ, который по правилам умножения матриц равен Ау, то у должен быть собственным вектором: Ау = Х1у. Фактически порядок расположения собственных векторов в 3 и собственных значений в Л автоматически совпадает.
Замечание 4. Не все матрицы имеют п линейно независимых собственных векторов, и поэтому не все матрицы диагонализуются. Стандартный пример «дефектной матрицы» имеет вид
Ее собственные значения равны угольная:det (Д —V) = detЕе собственные значения равны угольная:det (Д —V) = detXi = X2 = 0, поскольку она тре-Xi = X2 = 0, поскольку она тре-
Ее собственные значения равны угольная:
det (Д —V) = det
Ее собственные значения равны угольная:
det (Д —V) = det
Xi = X2 = 0, поскольку она тре-
Xi = X2 = 0, поскольку она тре-
Если х есть собственный вектор, то
ГО 11Г01[о оГ = Ы’ГО 11Г01[о оГ = Ы’илиили
ГО 11Г01
[о оГ = Ы’
ГО 11Г01
[о оГ = Ы’
или
или
Хотя Х = 0 есть собственное значение, алгебраическая кратность которого равна 2, оно имеет только одномерное пространство собственных векторов. Геометрическая кратность этого собственного значения равна 1, и мы не можем построить 3.
Приведем более простое доказательство того, что А недиа- гонализуема. Поскольку Х1 = Х2 = 0, Л должна быть нулевой матрицей. Но если 3-1ДЗ = 0, то, умножая слева на 3 и справа
на S-1, получаем, что А = 0. Поскольку А не является нулевой матрицей, это противоречие доказывает, что никакая матрица S не дает S-1AS = Л. .
Некоторые матрицы с кратными собственными значениями могут быть приведены к, диагональному виду (например, А =/), другие—нет. Единственный тест состоит в вычислении всех собственных векторов и определении, достаточно ли их. Когда все собственные значения различны, все просто: каждая алгебраическая или геометрическая кратность равна 1. Но если собственное значение X повторяется т раз, то все определяется нуль-прост- ранством матрицы А — X/; X проходит тест только в том случае, когда есть т соответствующих собственных векторов. Когда все собственные значения пройдут тест, мы будем иметь полный набор собственных векторов и А может быть диагонализована.
Для завершения этого круга идей нам остается доказать полезную, но не очень впечатляющую теорему.
;| 5F. Если ненулевые собственные векторы хх, ..., хп соответ- i| ствуют различным собственным значениям Ху, ..., Хп, то эти ij собственные векторы линейно независимы.
Предположим сначала, что ^ = 2 и что некоторая комбинация хх и х2 дает нуль: ctXy 4-f2x2 = 0. Умножая на А, получаем СуХуХу -Vc2X2x2 = 0. При вычитании произведения X., на предыдущее уравнение вектор х2 исчезает:
. Су^Ху — Х2)х1 = 0.
Поскольку Xi=^X2 и Ху^О, обязательно ст = 0. Аналогично с2 = 0 и эти два вектора независимы, т. е. только тривиальная комбинация дает нуль.
Это рассуждение может быть распространено на произвольное число собственных векторов: мы предполагаем, что некоторая комбинация дает нуль, умножаем на А, вычитаем произведение Хк на исходную комбинацию, и вектор хк исчезает, оставляя комбинацию Ху, ..., хк_у, которая дает нуль. Повторяя эти шаги, мы приходим к кратному хг, которое равно нулю. Это непременно дает Су = 0 и окончательно каждый ct = 0. (Можно сослаться также на математическую индукцию А Следовательно, собственные векторы, отвечающие различным собственным значениям, автоматически линейно независимы.
Упражнение 5.2.1. Для матрицы
Г -1°"?
А = —12—1
со стр. 217 найти S и вычислить S~MS. Кроме того, диагонализовать матрицуо .
собственные значения которой вид Г^1 и ГИ соответственно.собственные значения которой вид Г^1 и ГИ соответственно.Упражнение 5.2.2. Найти матрицу А, равны 1 и 4, а собственные векторы имеют (Указание: A=SAS-1.)
собственные значения которой вид Г^1 и ГИ соответственно.
собственные значения которой вид Г^1 и ГИ соответственно.
Упражнение 5.2.3. Найти все собственные значения и собственные векторы матрицы
Г1 1 1Д
Л = | 1 1 1
Ь 1 L
и выписать две различные диагонализующие матрицы S.
Упражнение 5.2.4. Транспонированием соотношения S-1AS = A найти матрицу, диагонализующую Лт, и выписать получающуюся диагональную матрицу.
Упражнение 5.2.5. Пусть Л и В имеют одну и ту же матрицу собственных векторов 5, так что A=SA1S-1 и 5 = SA2S-1. Доказать, что ЛВ = ВЛ. (Заметить, что A1A2 = A2A1 в силу их диагональности.) Для матрицы ^ = ^} }J найти подходящую матрицу В.
Последний пример играет важную роль в квантовой механике: матрицы с одними и теми же собственными векторами должны коммутировать. Обратное также верно и даже более важно: если АВ — В А, то эти матрицы имеют одинаковые собственные векторы. Основной момент доказательства состоит в том, что равенство Ах = Хх влечет за собой равенства АВх = ВАх= В'кх = ХВх. Поэтому х и Вх являются собственными векторами, отвечающими одному и тому же X, и если мы для удобства предположим, что собственные значения матрицы А различны, т. е. все собственные пространства одномерны, то вектор Вх должен быть кратным вектору х. Другими словами, х есть собственный вектор матриц В и А, и доказательство закончено.
Во введении к этой главе мы говорили о вращениях земного шара. Поворот на 90° оставляет неизменным только одно направление; ось, соединяющая полюсы, была единственным собственным вектором, который мы смогли найти. В плоскости экватора ось х переходит в ось у, а ось у—в ось х, но с противоположным направлением. Если в исходный момент координаты некоторой точки на Земле были (х0, у0, z0), то в новых осях они принимают вид (у0, —х0, г0\ Легко видеть, что это изменение
координат может быть осуществлено посредством перемножения
матриц:матриц:’ У6'— х»_ го_’ У6'— х»_ го_-о1О-о1О—1о о—1о о0-1 гхо"о у0U0-1 гхо"о у0U
матриц:
матриц:
’ У6'— х»_ го_
’ У6'— х»_ го_
-о
1
О
-о
1
О
—1
о о
—1
о о
0-1 гхо"
о у0
U
0-1 гхо"
о у0
U
Мы хотим диагонализовать эту матрицу вращения А. Первый шаг состоит в отыскании ее собственных значений и собственных векторов, начиная с характеристического многочлена
— X — 1— X — 1ооdet (Л— Х/) =det (Л— Х/) =1 — XО о1 — XО оо1—Xо1—X= (1 —X) (X2 + 1).= (1 —X) (X2 + 1).
— X — 1
— X — 1
о
о
det (Л— Х/) =
det (Л— Х/) =
1 — X
О о
1 — X
О о
о
1—X
о
1—X
= (1 —X) (X2 + 1).
= (1 —X) (X2 + 1).
Корни этого многочлена суть собственные значения; два из них являются мнимыми, несмотря на то, что элементы самой матрицы—действительные числа:
Xj=l, Х^ = 1, Хд = I.
Поскольку они различные (хотя и мнимые!), матрица диагонали- зуется. Таким образом, должен существовать полный набор собственных векторов, вычисляемых обычным способом:
1
— 1
о"
Го"
Xs = 1: (Д — П хх =
1
— 1
0
хх = 0, или хх = 0
0
0
0.
1л
Этот собственный вектор как раз и является осью север — юг, которая остается неподвижной;
'—i —1
0 "
" Г
X8 = i: (Л— И)х6 =
1 — i
0
x, = 0, или x8 =
— i
. 0 0
1 — i_
0
we
' i —1
0 "
1
Хд = — 1: (Д + 1П х3 =
1 i
0
x3 = 0, или x3 =
i .
00
1 -f- t _
.0.
Следовательно, диагонализующая матрица S и диагональная мат-
рица Л равны соответственно
"О 1 11
"100
■0 —i iи
0 i 0
J 0 OJ
0 0 — i.
Теория гарантирует, что матрица S~MS совпадает с Л.
В этом примере смысл имеет также и матрица А2. Геометрически она соответствует повороту на 180°; это результат повторного применения матрицы Л. Алгебраически равенство Л = SAS~l дает Л2 = SAS-1 SAS-1 = SA2S-1. Этим подтверждается тот факт, что матрица собственных векторов S является одной и той же для матриц Л и Л2 и что каждое из собственных значений возводится в квадрат. Собственные значения вращения на 180° равны 12=1, i2 = —1, (—i)2 =— 1; кратность 2 для собственного значения — 1 показывает, что вся экваториальная плоскость обращается, Мы можем продолжить и вычислить матрицу Л4, которая соответствует полному повороту на 360°:
Л4 = (SAS-1) (SAS"1) (SAS'1) (SAS'1) = SA^-1.
Поскольку i4=l, матрица собственных значений есть А4 = / и A4 = SIS-X = I. Вращение на 360° является тождественным.
Упражнение 5.2.6. Можно ли найти квадратный корень R из матрицы вращения на 90° А и проверить, что /?2 = Л? Помните, что матрицы R и R2 имеют одинаковые собственные векторы, или, другими словами, одну и ту же матрицу S. Фактически имеется восемь возможных квадратных корней R, поскольку К1=± 1, /7= ± (l + z)//!, /^=± (l-i)/^.
1 два соб-один собствен-1 два соб-один собствен-Г
1 два соб-
один собствен-
1 два соб-
один собствен-
Упражнение 5.2.7. Выяснить, имеет ли матрица А =
ственных вектора и поэтому диагонализуется или же она имеет ный вектор и не диагонализуется.
§ 5.3, РАЗНОСТНЫЕ УРАВНЕНИЯ И СТЕПЕНИ А*
Не совсем ясно почему, но разностные уравнения известны не так широко, как дифференциальные. В них используется конечное число конечных шагов, в то время как дифференциальные уравнения требуют бесконечного числа бесконечно малых шагов; но обе теории абсолютно параллельны. Это та же самая аналогия между дискретным и непрерывным, которая вновь и вновь появляется в математике. Наилучшей иллюстрацией, вероятно, будет служить такая, для которой не требуется n-мерной линейной алгебры. Именно эта ситуация рассматривается нами ниже—ведь деньги в банке являются всего лишь скаляром.
Пусть мы инвестируем 1000 долларов на 5 лет и банк выплачивает нам 6%. Если проценты начисляются банком раз в год, то капитал умножается на 1.06 и Рк+1 = 1.06Pft. Это разностное уравнение с шагом по времени в один год. Оно связывает величину капитала после к+1 лет с величиной капитала за год до этого и легко решается: за 5 лет исходный капитал Рй = 1000
умножался пять раз и
Р5 = (1.06)6 Ро = (1 .Об)5 1000 = 1338 долларов.
Предположим теперь, что шаг по времени уменьшен до месяца. Новое разностное уравнение будет иметь видрА+1 = (1 +0.06/12) рк. После 5 лет, или 60 месяцев,
рм = ^ 1 + ^^У°Ро = (1.005)60 1000 = 1349 долларов.
Следующий шаг состоит в ежедневном начислении процентов:
+866 Ю00= 1349.83 доллара.
Наконец, чтобы окончательно расшевелить вкладчиков, банки предлагают теперь непрерывное начисление процентов. Прибыль добавляется в каждый момент и разностное уравнение не годится. Можно ожидать, что банковский служащий не знает дифференциального исчисления и не сможет вычислить, сколько он вам должен. У него имеются две возможности: либо он может исчислять прибыль все чаще и чаще и заметить, что предел равен
(1ЮОО—►е°-3° 1000 = 1349.87 доллара.
Либо же он может перейти к дифференциальному уравнению, являющемуся пределом разностного уравнения рк+1 = = (1 + 0.06 А/) рк. Перенося рк в левую часть и деля на временной шаг А/, получаем, что ^7A"~fft = o.O6pft сходится к -^-= 0.06р. Решение есть р (/) = е°-Об/р0, и после 5 лет эта величина вновь равняется 1349.87 доллара. Капитал остается конечным, даже когда начисление производится в каждый момент времени, и разница составляет всего 4 цента.
Этот пример содержал одновременно разностные и дифференциальные уравнения, и одно переходило в другое, когда шаг по времени стремился к нулю. Однако имеется множество разностных уравнений, которые не приводятся к дифференциальным, и наш второй пример возникает из знаменитой последовательности Фибоначчи:
0, 1, 1, 2, 3, 5, 8, 13, ... .
Вероятно вы уловили ее характер: каждое из чисел Фибоначчи равняется сумме двух предшествующих,
.Fk+1 = Fk+1 + Fk.(18)
Это разностное уравнение. Оно возникает в фантастическом числе приложений и заслуживает отдельной книги. Колючки и листья
расположены спиралевидно, и на боярышнике, яблоне или дубе вы обнаруживаете пять таких образований на каждые два оборота вокруг ствола. У грушевого дерева их восемь на каждые три оборота, а у ивы еще сложнее —13 ростков на каждые пять витков. Чемпионом является, по-видимому, подсолнечник Даниеля Т. О’Коннела (Scientific American, ноябрь 1951 г.), семена которого удовлетворяют почти невероятному соотношению Р1г(Р1а = = 144/2331).
Каким образом можно найти 1000-е число Фибоначчи, не начиная с До = О, ^=1 и не проходя весь путь до Ft000? Задача состоит в решении разностного уравнения Fk+i = Fk+1 + Fk. Для начала оно может быть приведено к «одношаговому уравнению» ик+1 = Аик. Это уравнение в точности такое же, как и в примере на сложные проценты Де+1 = 1,06Дй, за исключением того, что теперь неизвестное есть вектор, а множитель А—матрица: если
FFк + 1к + 1
F
F
к + 1
к + 1
то
1 11 01 11 0^к-^к-Fk*2 = Fk*i + Fk, дает ик^ = Fk + l ~ Fk + l
1 1
1 0
1 1
1 0
^к-
^к-
Этот переход является стандартным приемом для любого уравнения порядка s; s—1 тривиальных уравнений вида Fk+i = Fk+1 сочетаются с заданным уравнением для получения одношаговой системы. В случае чисел Фибоначчи s = 2.
Формально решить разностное уравнение ик+1 = Аик легко. Поскольку каждый шаг дает умножение на матрицу А, решение ик связано с начальным значением и0 соотношением ик = = Акиа. Трудность состоит в отыскании быстрого способа вычисления степеней Ак и нахождения в результате 1000-го числа Фибоначчи. Ключом к этому являются собственные числа и собственные векторы матрицы А:
5G. Если матрица А приводится к диагональному виду, A=SAS~, то автоматически
uft = Aku0 = (SAS-i)(SAS-i) ... (SAS~i) u0 = ЗЛ^З*^. (19)
Все матрицы 8-1 сокращаются при умножении на матрицы S, и остается лишь первая матрица 8 и последняя S-1. Столбцы матрицы 8 суть собственные векторы Х; матрицы Л, и перемножение матриц дает
Общее решение есть комбинация частных решений X*txt, и коэффициенты С;, соответствующие начальному условию и0, равны ^Х^Н- • • • + спХ“хп = и0, или 8с = и0, или с = 8-1и0. (21)
На самом деле эти формулы дают два различных подхода к одному и тому же решению uh = SKkS-1u6. Первая формула (19) показывает, что матрица Ак совпадает с SiVS-1, и на этом можно остановиться. Но второй подход яснее показывает аналогию с решением дифференциального уравнения: вместо чисто экспоненциальных решений eXi*х( мы теперь имеем чистые степени Х^х^ «Гармоническими составляющими» вновь являются собственные векторы хИ и на каждом шаге они усиливаются благодаря собственным значениям Х{. Комбинируя эти частные решения так, чтобы получить вектор и0, мы приходим к истинному решению ик = 8Л.к8-1и0.
В каждом конкретном примере, как и в случае с уравнением Фибоначчи, первый шаг состоит в диагонализации матрицы А:
det (Л — Х/) = Х2 — X — 1,
_ 1+ /5,1— Кб
■12’~2
Как только эти собственные значения и собственныеКак только эти собственные значения и собственныенайдены, начинает работать формула (19). Начальныенайдены, начинает работать формула (19). НачальныеFo = 0 и F1=l дают и0 =Fo = 0 и F1=l дают и0 =Г0.Г0.векторы данныевекторы данные, и тогда, и тогда= ик = Аки0 = 8Л:к8-1и0 == ик = Аки0 = 8Л:к8-1и0 =X, Х2 хкX, Х2 хк1 1.1 1.х£х£1" —11" —111Xi — Х2Xi — Х2
Как только эти собственные значения и собственные
Как только эти собственные значения и собственные
найдены, начинает работать формула (19). Начальные
найдены, начинает работать формула (19). Начальные
Fo = 0 и F1=l дают и0 =
Fo = 0 и F1=l дают и0 =
Г
0.
Г
0.
векторы данные
векторы данные
, и тогда
, и тогда
= ик = Аки0 = 8Л:к8-1и0 =
= ик = Аки0 = 8Л:к8-1и0 =
X, Х2 хк
X, Х2 хк
1 1.
1 1.
х£
х£
1" —1
1" —1
1
1
Xi — Х2
Xi — Х2
Число Фибоначчи Fk равняется второй компоненте этого произведения:
р ^ 1 r/i+KsV /i-^sVlк X,—Х2 X,—Х2 2 У \ 2 )
Это и есть искомый ответ. Он является несколько неожиданным, поскольку правило Фибоначчи Fk+a = Рк+г + Fk всегда должно давать целые числа, а мы получили дроби и квадратные корни. Они должны сократиться каким-то образом, чтобы осталось целое число. Фактически, поскольку второй член [(1 — У 5)/2]fc/y 5 всегда меньше чем 1/2, он должен превращать первый член в ближайшее целое число. Вычитание оставляет только целую часть, и
1 /14- Vь \1000
F100ll равно ближайшему к (—Цу—1 целому числу.
Разумеется, это число очень велико, а число /Ц,,,,, должно быть еще больше. Совершенно очевидно, что дробные части становятся пренебрежимо малыми в сравнении с целыми частями; отношение F1001/F1000 должно быть очень близко к величине (14-рЛ5)/2~ 1,618, которая была названа греками «золотым сечением»1). Другими словами, число X* становится пренебрежимо малым в сравнении с Xf и отношение Fk+jFk стремится к X^/Xf-X,.
Упражнение 5.3.1. Предположим, что Фибоначчи начинал свою последовательность с F0=l и Р^—З и следовал затем тому же правилу Рк + 2 = = Рк + л + F к- Найти новый начальный вектор и0, новые коэффициенты c = S-1u0 и новые числа Фибоначчи. Показать, что отношения Fk + i/Fk по-прежнему стремятся к «золотому сечению».
Упражнение 5.3.2. Пусть каждое последующее число является средним между двумя предыдущими, Gk+ 2 = "2" (б/< + 1 + GkY Найти матрицу А и привести ее к диагональному виду. Начиная с Со = О и GA = U2, найти формулу для Gk и вычислить предел при t—> 00.
Упражнение 5.3.3. Бернаделли рассматривал виды жуков, «которые живут только три года и размножаются на третий год». Если для удобства рассматривать только самок и при этом первая возрастная группа выживает с вероятностью 1/2, вторая с вероятностью 1/3 и затем третья дает шесть самок на каждую самку из этой группы, то соответствующая матрица будет иметь вид
г о 0 6-1
Показать, что А3 = 1 и проследить за распространением жуков аа шесть лет, начиная с 3000 жуков в каждой возрастной группе.
Ч Стороны наиболее красивых прямоугольников относятся друг к другу как 1.618 к 1.
МАРКОВСКИЙ ПРОЦЕСС
В первой главе мы рассматривали пример о въезде и выезде из Калифорнии. Он заслуживает более детального рассмотрения. Мы руководствовались следующими двумя правилами:
каждый год 1/10 людей, живших вне Калифорнии, въезжают в нее, а 2/10 калифорнийцев выезжают.
Эта задача сводится к разностному уравнению: мы начинаем с у0 людей вне и г0 людей внутри и в конце первого года имеем
92
То у о + То г"= Уг людей вне,
1,8„
илиилиТо Уч + То го = г1 людей внутри,
или
или
У11[0.9 0.21 Г Уо
^гг 0.1 0.8 г0
Разумеется, эта задача взята «с потолка», но она имеет два существенных свойства того, что называют марковским процессом; общее число людей остается неизменным и числа людей вне и внутри никогда не становятся отрицательными1). Первое свойство отражается в том факте, что сумма элементов каждого столбца матрицы равна 1: все учитываются и нет ни лишних, ни потерянных. Второе свойство отражено в том, что матрица не имеет отрицательных элементов; если начальные значения у0 и 20 были неотрицательны, то неотрицательными будут уг и zn у2 и г2 и т. д. Все степени Ак неотрицательны.
0.9 0.210.1 0.8]’0.9 0.210.1 0.8]’Мы собираемся сначала решить это разностное уравнение (используя формулу SAkS~u0), затем посмотреть, приходит ли население постепенно к стационарному состоянию, и, наконец, обсудить марковские процессы в целом. Начнем с того, что матрица А должна быть диагонализована:
0.9 0.21
0.1 0.8]’
0.9 0.21
0.1 0.8]’
det (Д — V) = X2 — 1.7Х + 0.7,
Теперь мы можем найти матрицу А* и распределение через к лет:
Это и есть искомое решение, и легко заметить, что же произойдет в конце концов: множитель (0.7)* становится крайне малым
too + zo)too + zo)и решение сходится к пределу
too + zo)
too + zo)
У.
Общее население по-прежнему равно t/0 + z0, как и в начальный момент, но в пределе 2/3 этого населения будет находиться вне Калифорнии и 1/3 внутри. И это будет выполняться независимо от того, каково было начальное распределение. Можно заметить, что такое стационарное состояние представляет собой в точности то распределение, которое требовалось в упр. 1.3.3. Если год начинается с соотношения «2/3 вне и 1/3 внутри», то он закончится в точности таким же образом:
"0.90.1"0.90.1Г 2 0.21 У 0.8 1L з JГ 2 0.21 У 0.8 1L з J*2/3-3-*2/3-3-или Аию = и„.или Аию = и„.
"0.9
0.1
"0.9
0.1
Г 2 0.21 У 0.8 1
L з J
Г 2 0.21 У 0.8 1
L з J
*2/
3
-3-
*2/
3
-3-
или Аию = и„.
или Аию = и„.
Стационарное состояние представляет собой собственный вектор матрицы А, соответствующий собственному значению X = 1. Умножение на матрицу А, дающее переход от одного шага к другому, оставляет вектор и^ неизменным.
Приведенное выше описание марковского процесса является
полностью детерминированным: население перемещается в фиксированной пропорции. Но если мы вместо этого будем рассматри
вать отдельного индивидуума, то правила его передвижения могут быть даны в вероятностной форме. Если индивидуум находится вне Калифорнии, то с вероятностью 1/10 он въедет в нее, а если он уже в ней, то с вероятностью 2/10 выедет. Его движение становится случайным процессом, и управляющая им матрица А называется матрицей перехода. Мы не знаем теперь точно, где он находится, но каждый год компоненты вектора ик = Акий определяют вероятность того, что он находится вне штата, и вероятность того, что он находится в нем. Сумма этих вероятностей
равна 1 (ведь должен же этот человек где-то быть), и они никогда не становятся отрицательными; это вновь приводит нас к двум фундаментальным свойствам матрицы перехода: сумма элементов каждого столбца матрицы равна 1 и каждый элемент удовлетворяет неравенству а,у^0.
Основной момент теории состоит в том, чтобы понять, почему число л= 1 всегда является собственным значением и почему соответствующий собственный вектор дает стационарное состояние. Первое объяснить легко: каждый столбец матрицы А— I имеет сумму элементов, равную 1 —1 = 0. Поэтому строки матрицы A—I при сложении дают нулевую строку, они линейно зависимы, матрица А — / вырождена и число 2^=1 является собственным значением для А. Кроме весьма частных случаев1), вектор ик будет постепенно приближаться к соответствующему собственному вектору. Это обеспечивается формулой ик = с^х^-у ... .. . -усп\„хп, в которой ни одно из собственных значений не может превосходить 1; в противном случае вероятности ик будут расти, как числа Фибоначчи, что невозможно. Если все остальные собственные значения строго меньше 1, то первый член формулы будет доминирующим, а остальные числа Ц будут быстро сходиться к нулю и ик—>с1х1 = ц0О. Это стационарное состояние будет обеспечено, если матрица А не только неотрицательна, но строго положительна, т. е. а^ > 0. В этом случае вектор сххх имеет только положительные компоненты, сумма их равна 1 и они являются предельными значениями вероятностей в марковском процессе.
Упражнение 5.3.4. Пусть имеется три главных центра грузовых перевозок. Каждый месяц половина грузовиков Бостона и Лос-Анджелеса едет в Чикаго, другая половина остается на месте, а чикагские грузовики распределяются поровну между Бостоном и Лос-Анджелесом. Выписать матрицу перехода А размера 3X3 и найти стационарное состояние и^, соответствующее собственному значению Х=1.
Упражнение 5.3.5. Рассмотреть пример эпидемии, при которой каждый месяц половина здоровых людей заболевает, а четверть заболевших умирает. Найти стационарное состояние для соответствующего марковского процесса
Г 1 Л
1 т 0
^ft + l~)
4
А 3 1
sfe + l =
° 4 2
л+lj
1
о о 4-
L z J
х) Если каждый человек, находящийся вне, въезжает, и 'каждый, находящийся внутри, выезжает, то число проживающих в штате меняется каждый год и стационарное состояние невозможно. Матрица перехода имеет вид -4=1 । Q , и с0°ственными значениями являются как —1, так и -j-1.
Упражнение 5.3.6. Пусть в отношении цвета глаз мужчины в данном поколении несут доминантные гены, гетерозиготны или несут рецессивные гены (т. е. либо имеют оба гена «кареглазости», либо один ген «кареглазости», а один «голубоглазости», либо оба гена «голубоглазости») с вероятностями d0, hg, г0. (Я думаю, что в гетерозиготном случае оба глаза будут карими, но тем не менее оба отцовских гена могут быть унаследованы с одинаковой вероятностью.) Если все женщины предполагаются гетерозиготными1), то наследуемый от матери ген с одинаковой вероятностью может оказаться геном «кареглазости» или геном «голубоглазости». Найти матрицу А, которая давала бы для сына из следующего поколения вероятности di, hi, гр.
didq
hx =A h0 .
Каково будет распределение u„ после бесконечного числа поколений?
УСТОЙЧИВОСТЬ
Имеется явное различие между числами Фибоначчи и марковскими процессами: числа Рк становятся все больше и больше, в то время как любая «вероятность» по определению находится между 0 и 1. Уравнение Фибоначчи является неустойчивым, равно как и уравнение сложных процентов Рк+1 = 1.06^; капитал растет вечно. Если бы марковские вероятности стремились к нулю, то соответствующее уравнение было бы устойчивым; на самом же деле это не так, поскольку на каждом этапе сумма вероятностей равна 1. Поэтому марковский процесс нейтрально устойчив.
Предположим теперь, что у нас имеется произвольное разностное уравнение ик+1 = Аик и мы хотим исследовать его поведение при /г—>оо. Предполагая диагонализуемость матрицы А, получим решение ик в виде комбинации «чистых решений»:
ик = SA^-X = сД^ + • . • + сХхп.
Рост ик управляется множителями Ц и, следовательно, устойчивость зависит от собственных значений матрицы А.
5Н. Разностное уравнение ик+1 = Аик устойчиво и ик—>0, если |Х,-|<1 для всех собственных значений, нейтрально устойчиво и вектор ик ограничен при всех | ^ | ^ 1 и неустойчиво (ик неограничен), если хотя бы одно собственное значение матрицы А удовлетворяет условию |^;-|> 1.
Пример 1. Матрица
ГО 41
х) На самом деле это неверно, но я надеюсь, что мне простят такое предположение.
безусловно, является устойчивой; ее собственные значения равны О и 1/2, т. е. числам, расположенным на главной диагонали, поскольку эта матрица Л является треугольной. Начинаясь
с произвольного начального вектора и0 и удовлетворяя соотношению uk+1 = Аик, решение должно постепенно сходиться к нулю:
Можно заметить, что большее собственное зачение А,— 1/2 управляет убыванием: после первого шага каждый последующий вектор ик будет равен половине предыдущего. Эффект первого шага состоит в расщеплении вектора и0 на два собственных вектора матрицы А,
и аннулировании второго собственного вектора (соответствующего Х=0). Первый собственный вектор на каждом шаге умножается на Х= 1/2.
Замечание. Несмотря на сильную устойчивость матрицы А, обусловленную малостью собственных значений, длины векторов ик в начале процесса растут. Только начиная с uv эти векторы становятся короче, чем исходный вектор и0, и затем убывание происходит со скоростью геометрической прогрессии. Чтобы гарантировать немедленное убывание, т. е. выполнение неравенств II «11| < || и01| или || Аи || < || и || для всех ненулевых начальных векторов и, нам требуется условие
^Au\^ = u1A\Au<\\u\^ = utu, или ит(АТА—/)ы<0. (22)
Это более сильное требование, чем условие |XJ^ 1 на собственные значения. В терминах гл. 6 оно означает, что матрица ЛТЛ—/ должна быть отрицательно определенной (т. е. все ее собственные значения отрицательны), а в терминах гл. 7 это требование означает, что «норма» матрицы А меньше 1.
Упражнение 5.3.7. Показать, что решение начинает убывать немедленно (т. е. матрица ЛТЛ— / имеет отрицательные собственные значения), если внедиагональный элемент с12 = 4 сделать меньше, чем о12 = ^3/2.
Упражнение 5.3.8. Какие значения а приводят к неустойчивости системы fn+i=a(v„+u>n), ю„ + 1 = а(и„ + шп).
Пример 2. Модель расширяющейся экономики фон Неймана. Рассмотрим простую модель, в которой есть три «товара»: сталь, продукты питания и труд. На производство каждого товара затрачивается часть того, что было произведено годом ранее, и перед
экономистом стоит вопрос, может ли (и с какой скоростью) экономика расширяться. Пусть производство новой единицы стали требует 0.4 единицы существующей стали и 0.5 единицы труда, производство единицы продуктов питания требует 0.1 единицы продуктов питания и 0.7 единицы труда и производство (или содержание) единицы труда обходится в 0.8 единицы продуктов питания и по 0.1 единицы стали и труда. Тогда входные данные s0, f0 и /0 связаны с выходными данными s,, /, и /, уравнением
Отметим, что это разностное уравнение «в обратную сторону»! Вместо соотношения их = Аий мы имеем и0 — Аи^, так что расширением будет управлять не матрица А, а матрица Д'1 (точнее, ее собственные значения). В этой задаче имеется и еще одна особенность: количества стали, продуктов питания и труда не могут становиться отрицательными. Фон Нейман искал максимальную скорость а, с которой экономика может расширяться, по-прежнему оставаясь неотрицательной, т. е. u1^au0^0.
Если эти неравенства выполняются (т. е. начиная с некоторого вектора стали, продуктов питания и труда «0, мы заканчиваем по крайней мере вектором аи0), то, начиная следующий год с uv мы получим по крайней мере ал^ или a2w0. Следовательно, экономика может продолжать расширяться со скоростью а. Разумеется, если наибольшее возможное а будет меньше 1, то экономика фактически будет не расширяться, а сокращаться, а если А—«марковская» матрица, то мы будем иметь равновесие, при котором a = 1. На самом деле теория фон Неймана очень близка к теории марковских процессов, поскольку в обоих случаях матрица А является неотрицательной, что гарантирует неотрицательность ее наибольшего собственного значения Хг и компонент соответствующего собственного вектора. Для марковского случая a = 1, поскольку XT = 1; в общем случае Хх= 1/а, так как фон Нейман доказал, что наискорейшее возможное расширение всегда дается неотрицательным собственным вектором. В нашем примере Xi = 9/10, так что коэффициент расширения равен 10/9, а собственный вектор есть
"0.2"11"0.2"11ииАх =Ах ="0.400.5"0.400.500.10.700.10.70.Г0.80.10.Г0.80.1"0.2"11"0.2"11"0.18"0.90.9"0.18"0.90.9= 0.9х.= 0.9х.
"0.2"
1
1
"0.2"
1
1
и
и
Ах =
Ах =
"0.40
0.5
"0.40
0.5
0
0.1
0.7
0
0.1
0.7
0.Г
0.8
0.1
0.Г
0.8
0.1
"0.2"
1
1
"0.2"
1
1
"0.18"0.90.9
"0.18"0.90.9
= 0.9х.
= 0.9х.
Упражнение 5.3.9. Объяснить в экономических терминах, почему увеличение любого элемента в матрице потребления А должно увеличивать ее наибольшее собственное значение Xt (и замедлять расширение).
Пример 3. Матрица «затраты — выпуск» Леонтьева. В отличие от фон Неймана, Леонтьев рассматривал прежде всего производство и потребление в течение одного года; его система «затраты — выпуск» явилась одним из первых крупных успехов в математической экономике. Для ее иллюстрации рассмотрим ту же самую матрицу потребления А и будем выяснять, можно ли получить заданный вектор продукции у. можем ли мы закончить год с yY единицами стали, у2 единицами продуктов питания и у3 единицами труда? Для этого нужно произвести товары в больших количествах xlt х2 и х3, поскольку некоторая часть продукции поглощается в самом процессе производства. Фактически потребленное количество продукции равно Ах, и чистая продукция есть х — Ах.
Задача. Найти вектор х, такой, что
х — Ах —у,или х = (/— А^у.
На первый взгляд нам нужно лишь выяснить, обратима ли матрица / — А. Однако и в этой задаче имеется особенность, связанная с неотрицательностью: мы предполагаем, что вектор заказов неотрицателен, у^О, и требуем, чтобы вектор продукции также был неотрицательным, т. е. х^О. Поэтому на самом деле вопрос состоит в том, будут ли элементы матрицы (/— Л)-1 неотрицательными; если это так, то произведение (/ — Л)-1 у будет неотрицательным. При заданной матрице потребления Л с наибольшим собственным значением Х2 основной математический результат формулируется следующим образом: матрица (/—Л)-1 неотрицательна тогда и только тогда, когда Хх< 1. В этом случае экономика может производить товары в любом сочетании: при таких собственных значениях производство превосходит потребление.
ГО 21
Пример. Пусть ^=2 о ’ так Ч™ На ПРОИЗВОДСТВО единицы стали затрачиваются две единицы продуктов питания, и наоборот. Тогда мы ничего не можем произвести! Наибольшее собственное значение равно ^ = 2, и все элементы матрицы (7— Л)-1 =
1 [1 21
=—о , отрицательны.
Упражнение 5.3.10. Почленным умножением проверить, что (/ — Л)(/+ + Л4-Ла+.. .) = /. Этот бесконечный ряд представляет матрицу (/ — Л)-1, и он является неотрицательным, если неотрицательна матрица Л и если его сумма конечна; условием для этого служит неравенство Xj < 1. Просуммировать этот бесконечный ряд и показать, что сумма равна (Z— Л)~\ для матрицы потребления
ГО 1 11
А =
0
0
0 1
0 0
Цель Леонтьева состояла в том, чтобы найти модель, которая использовала бы подлинные данные реальной экономики. Официальная американская матричная таблица межотраслевых связей за 1958 год содержала данные по 83 отраслям производства. Построенная теория выходит за рамки простого исследования матрицы (/—Л)-1 и позволяет решать вопросы о естественных ценах рынка и об оптимизации. Труд при этом обычно рассматривается отдельно как наиболее важный товар, количество которого ограничено и должно быть минимизировано. Кроме того, экономика не всегда является линейной.
§ 5.4. ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯИ ЭКСПОНЕНТА ем
Когда мы встречаемся не с отдельным уравнением, а с системой, появляется возможность использовать теорию матриц. Это было справедливо для разностных уравнений, где решение uk =Ahua зависело от степеней матрицы А. Это в равной мере справедливо и для дифференциальных уравнений, где решение и^ = емий связано с экспонентой от матрицы А. Для того чтобы определить эту экспоненту и понять заложенный в ней смысл, рассмотрим
пример
du л
"—2
1
Г
—2
и.
(23)
Первый шаг, как обычно, состоит в отыскании собственных значений и собственных векторов:
ri] ГЛ Г !'
Л ! =(-1) } , A
= (-3)
Затем перед нами открывается несколько возможностей, и все они приводят к одному и тому же ответу. Наилучший способ, вероятно, выписать общее решение и согласовать его с начальным вектором н0 при t = 0:
Зы узнаете матрицу собственных векторов S? И коэффициенты
<4
_С2
= 5-1н0
те же, которые получались для разностных урав-
нений. Подставляя их в (24), находим решение задачи. В матричной записи это решение выглядит так:
и^ =и^ =1111e-te-tе-ме-м
и^ =
и^ =
1
1
1
1
e-t
e-t
е-м
е-м
Вот основная формула этого параграфа: SewS-1u0 является решением дифференциального уравнения, так же как SXkS-xu6 было решением разностного уравнения. Основную роль здесь играют
Теперь можно позволить себе замедлить темп изложения.
Остается сделать два замечания относительно этого примера. Одно из них относится к завершению математической части теории, для чего требуется дать прямое определение экспоненты eAt и связать его с формулой SeMS~x. Второе состоит в том, чтобы дать физическую интерпретацию самого уравнения и его решения. Это дифференциальное уравнение имеет очень полезные применения.
Рассмотрим сначала экспоненту. Наиболее естественно определить ее по аналогии со степенным рядом для ех;
е--1+х+4+4+...
и
eAt есть матрица порядка п и ее легко можно продифференцировать:
dtV '+ 2!31+
= А ^/ 4- At= А ^/ 4- At, (Aty2!, (Aty2!4 ...) = AeAt.4 ...) = AeAt.
= А ^/ 4- At
= А ^/ 4- At
, (Aty
2!
, (Aty
2!
4 ...) = AeAt.
4 ...) = AeAt.
Таким образом, подтверждается, что eAtu0 является решением рассматриваемого дифференциального уравнения: при t = 0 оно равно начальному вектору и0 и оно удовлетворяет уравнению d (ел<и0)/^/= AeAtue. Следовательно, это решение должно совпадать с другим решением SeMS-xu6. Чтобы дать более прямое доказательство этого совпадения, вспомним, что степени матрицы A=SAS~l сворачиваются в ДА = (5Л5-1) ... (SAS-1) = SA,1S-1.
Поэтому бесконечный ряд для экспоненты принимает вид
e^ = 7+SAS"lZe^ = 7+SAS"lZ5Д2£-1/22!5Д2£-1/22!SASS-Ч33!SASS-Ч33!
e^ = 7+SAS"lZ
e^ = 7+SAS"lZ
5Д2£-1/2
2!
5Д2£-1/2
2!
SASS-Ч33!
SASS-Ч33!
= s(/+A/ + ^ + ^+ ..^S-^Se^S-1.
На этом математическая часть заканчивается, и полученные результаты можно сформулировать следующим образом:
Если матрица А приводится к диагональному виду, А = SAS-1, то дифференциальное уравнение du/dt = Au имеет решение
u^ — eAtu0 = SeMS-1u6.(25)
Столбцы матрицы S являются собственными векторами матрицы А, так чтоСтолбцы матрицы S являются собственными векторами матрицы А, так что
Столбцы матрицы S являются собственными векторами матрицы А, так что
Столбцы матрицы S являются собственными векторами матрицы А, так что
Общее решение является линейной комбинацией частных решений еХ‘‘ х;, и коэффициенты сь удовлетворяющие начальному условию и0, равны c = S-1u0.
Здесь наблюдается полная аналогия с разностными уравнениями — вы можете сравнить полученный результат с 5G на стр. 229. В обеих ситуациях мы предполагали, что матрица А ди- агонализуема. В противном случае она имела бы меньше чем п собственных векторов, и мы не нашли бы достаточного числа частных решений. Недостающие решения существуют, но они имеют более сложный вид, чем чистые экспоненты емх: они содержат «обобщенные собственные векторы» и множители типа text. Тем не менее формула u^ = eAtu0 остается справедливой1).
1) Этот «дефектный» случай будет рассмотрен в приложении В, однако1) Этот «дефектный» случай будет рассмотрен в приложении В, однакопример можно привести и сейчас: если у'—г и г' = 0, то система имеет видпример можно привести и сейчас: если у'—г и г' = 0, то система имеет видduIFduIF= Au == Au =ОООО
1) Этот «дефектный» случай будет рассмотрен в приложении В, однако
1) Этот «дефектный» случай будет рассмотрен в приложении В, однако
пример можно привести и сейчас: если у'—г и г' = 0, то система имеет вид
пример можно привести и сейчас: если у'—г и г' = 0, то система имеет вид
duIF
duIF
= Au =
= Au =
О
О
О
О
так что
Л2 = 0 и eAt = I-^ At =Л2 = 0 и eAt = I-^ At =1 С.0 U "1 С.0 U "
Л2 = 0 и eAt = I-^ At =
Л2 = 0 и eAt = I-^ At =
1 С
.0 U "
1 С
.0 U "
Обсудим теперь физический смысл этого примера, который легко объясним и в то же время по-настоящему важен. Рассматриваемое дифференциальное уравнение описывает процесс диффузии, который можно наглядно представить себе, если рассмотреть бесконечную трубку, разделенную на четыре части, из которых две средние конечные, а две по краям полубесконечные (рис. 5.1).
Рис. 5.1. Модель диффузии.
В момент времени t = 0 две конечные части содержат некоторый химический раствор с концентрациями ц, и w0. В это же время и в дальнейшем концентрация в двух бесконечных частях трубки равна нулю. При бесконечности объема такая модель будет давать верную картину для описания средней концентрации в этих бесконечных частях трубки даже после начала процесса диффузии. Диффузия начинается в момент времени 1 = 0 и подчиняется следующему закону: в любой момент времени / скорость диффузии между двумя прилегающими частями равняется разности концентраций. Мы считаем, что внутри каждой из частей концентрация во всех точках остается одинаковой. Процесс непрерывен по времени, но дискретен по пространству, и двумя неизвестными являются и (О и да (0 в двух внутренних частях St и S2.
Концентрация и изменяется двумя путями — посредством диффузии в крайний левый участок So и посредством диффузии в 32 или из S2. Общая скорость изменения поэтому равна
^ = (ю- у) + (0—и),
поскольку концентрация в So тождественно равна нулю. Аналогично
^-==(0—да) + (и—да).
Г— 211Г— 211Следовательно, система в точности совпадает с нашим примером (23):
Г— 211
Г— 211
_ Го 1 du 2u + w — [да] ’ ~ФГ~ [ и — 2да
Собственные значения —1 и —3 будут определять поведение решения. Они дают скорость убывания концентрации, и \ является более важным, поскольку лишь в исключительных слу-
чаях выбранные начальные условия могут привести к «сверхубыванию» со скоростью e~3t. Фактически эти условия должны получаться из собственного вектора (1, —1), компоненты которого имеют разные знаки. Если эксперимент допускает только неотрицательные концентрации, сверхубывание невозможно и предельная скорость должна равняться e-t. Решение, убывающее с этой скоростью, соответствует собственному вектору (1, 1), и, следовательно, две концентрации будут становиться почти равными при t—*оо.
Еще одно замечание по поводу этого примера: он является дискретной аппроксимацией лишь с двумя неизвестными для непрерывного диффузионного процесса, описываемого уравнением в частных производных
du d2u919хг ’du d2u919хг ’ц(0) = «(1) = 0.ц(0) = «(1) = 0.
du d2u
919хг ’
du d2u
919хг ’
ц(0) = «(1) = 0.
ц(0) = «(1) = 0.
Мы придем к этому уравнению, если оставить два бесконечных участка с нулевой концентрацией и делить среднюю часть на отрезки все меньшей и меньшей длины h=\!N. Дискретная система с N неизвестными подчиняется уравнению
Эго в точности совпадает с матрицей конечных разностей, построенной в § 1.6 для аппроксимации второй производной d2/dx2. Более внимательный взгляд на процесс дает масштабирующий множитель 1/й2, так что мы действительно приходим в пределе при h —> 0 и N —► оо к уравнению в частных производных du/dt = = д2и!дх2. Оно известно как уравнение теплопроводности. Его решения по-прежнему могут быть разложены на гармонические составляющие задачи, но они уже оказываются не собственными векторами из N компонент, а собственными функциями. Фактически это в точности функции sinnnx, и общее решение уравнения теплопроводности имеет вид
и (/) = 2 спе "n2”4 sin них.1
Коэффициенты сп определяются, как обычно, из начальных условий, а скорости убывания даются собственными значениями: Х„ = — п2л2.
Упражнение 5.4.1. Вычислить матрицу eAt размера 2x2 в рассмотренном выше примере и показать, что ее элементы положительны при / > 0. Любой
эксперимент, начинающийся при положительных концентрациях, таким и будет оставаться: если и0 > 0, то eAtu0 > О1).
Упражнение 5.4.2. Предположим, что в уравнении диффузии направление времени изменено на обратное: duldt — Au переходит в du/d(—Г) = Аи или
Вычислить и (/) и показать, что решение теперь растет, а не убывает при t—♦ +00- (В непрерывном случае это увеличение происходит мгновенно, как только мы отходим от Z = 0, т. е. уравнение теплопроводности необратимо во времени.)
Упражнение 5.4.3. Для получения непрерывного марковского процесса уберем бесконечные участки So и S3 и перейдем к уравнениям
W—и,W—и,du илиdtdu илиdtи = Аи.и = Аи.и—К'и—К'du di dm dt
W—и,
W—и,
du или
dt
du или
dt
и = Аи.
и = Аи.
и—К'
и—К'
Найти общее решение, решение, удовлетворяющее начальным концентрациям п = 3 и ш=1, и стационарное состояние при /—> оо. Заметить, что значению Х = 0 в дифференциальном уравнении соответствует Л=1 в разностном уравнении (е«(=1), так что соответствующий собственный вектор определяет стационарное состояние.
Упражнение 5.4.4. Вывести формулу и It) = Se1>vtS-Yu0, используя замену переменных u = S-1u в дифференциальном уравнении dujdt = Аи. Найти новый вектор у0, решить уравнение относительно и и вернуться к и.
Упражнение 5.4.5. Предполагая диагонализуемость матрицы А, показать из (25), что etAesA = e<t"vs'1 А. В качестве контрпримера показать для матриц размера 2x2, что в общем случае евес ^ ев+с, т. е. правило для скаляров в матричном случае нарушается.
УСТОЙЧИВОСТЬ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ
Так же как и для разностных уравнений, поведение решения и(/) при t —>-оо определяется собственными значениями. Если матрица А диагонализуема, то дифференциальное уравнение будет иметь п чисто экспоненциальных решений и любое частное решение и^ есть некоторая их комбинация:
и (/) = SeAtS~lu0 = cveKixt + ... -VcneXnt х№.
Устойчивость определяется множителями eXit. Если они стремятся к нулю, то и (I) стремится к нулю; если они остаются ограниченными, то u(Z) остается ограниченным; а если один из этих множителей растет, то решение и^ будет тоже расти, за
исключением случаев с весьма специальными начальными условиями. Более того, поскольку величина (или модуль) eXi зависит только от вещественной части л, устойчивость определяется только вещественными частями: если Х = сс + ф, то
ем =eatei^t _ e<x*(cosp/ 4-i sin Р^) и \eu\=eat.
Эта величина убывает при а < О, является постоянной приа = 0 и возрастает при а > 0, в то время как мнимые части р дают чистые колебания. Таким образом, для любой диагонализуемой матрицы А справедливо следующее утверждение:
5J. Дифференциальное уравнение du/di — Au устойчиво и eAt —>-0, если все ReA,<0; оно нейтрально устойчиво и экспонента eAt ограниченна, если все Re Xt ^ 0, и оно неустойчиво и eAt неограниченна, когда Re Xt > 0 хотя бы для одного собственного значения X; матрицы А.
Пример 1.Пример 1.du , ДГ = Аи =du , ДГ = Аи ='0 —Г1 о'0 —Г1 о«о«о1о1о
Пример 1.
Пример 1.
du , ДГ = Аи =
du , ДГ = Аи =
'0 —Г
1 о
'0 —Г
1 о
«о
«о
1
о
1
о
Собственные значения матрицы А удовлетворяют уравнению
IД — XZ | =IД — XZ | =X — г1 — XX — г1 — X=v + l = 0,=v + l = 0,т. е. Х = + Lт. е. Х = + L
IД — XZ | =
IД — XZ | =
X — г
1 — X
X — г
1 — X
=v + l = 0,
=v + l = 0,
т. е. Х = + L
т. е. Х = + L
Они являются чисто мнимыми, так что решение должно быть нейтрально устойчиво. Фактически eAt есть матрица вращения, и каждая компонента решения является простым гармоническим движением:
eAt =eAt =cos t sin tcos t sin t— sin t cos t— sin t cos tи Ц^ = еА1и0 =и Ц^ = еА1и0 =cos t sin tcos t sin t(27)(27)
eAt =
eAt =
cos t sin t
cos t sin t
— sin t cos t
— sin t cos t
и Ц^ = еА1и0 =
и Ц^ = еА1и0 =
cos t sin t
cos t sin t
(27)
(27)
Уравнение описывает движение точки по окружности1).
Пример 2. Уравнение диффузии устойчиво, поскольку Х =—1 и X = — 3.
Пример 3. Непрерывный марковский процесс, описанный в предыдущих упражнениях, лишь нейтрально устойчив, поскольку собственные значения равны Х — 0 и Х = —2. Это уравнение диффузии с изолированными концами: ничто не покидает систему и не переходит во внешние бесконечные участки.
4 Все экспоненты от кососимметрических матриц являются ортогональ
ными матрицами.
Пример 4. В ядерной технике реактор называется критическим, если он нейтрально устойчив: расщепление уравновешивается поглощением. Более медленное расщепление делает его устойчивым, или субкритическим, и постепенно он останавливается. При неустойчивом расщеплении реактор превращается в бомбу.
Так же как и для разностных уравнений, решение задачи может быть устойчивым и при этом допускать кратковременное увеличение нормы ||и(/)||, прежде чем начнется убывание. Мне кажется, что этот временный рост нетипичен для реальных задач; убывание, как правило, начинается непосредственно в момент времени / — 0. Записав производную от скалярного произведения
4 УТ,. _ ГУ1,, । УТ Г^У~)/оо\
мы можем положить х = у=и и найти величину, знак которой определяет рост или убывание:
4 л и г=[4]т«+«т [4]=мТ <лт+л)ы- (29>
5К. Если ит(Дт + ^)п<0 для всех ненулевых векторов и, что означает отрицательность всех собственных значений матрицы Лт + Л, то норма решения убывает в каждый момент времени. Если Лт-]-Л = 0, то длина ||и||2 остается постоянной с течением времени, рассеяния энергии не происходит и система консервативна.
Пример 1 был консервативным: если точка движется по окружности, то длина || «||, очевидно, остается постоянной.
Для отыскания условия, которое одновременно являлось бы необходимым и достаточным для устойчивости, другими словами, условия, эквивалентного ReXz<0, есть две возможности. Одна из них заключается в обращении к Раусу и Гурвицу, которые в девятнадцатом веке получили ряд неравенств на элементы а^-. Я не думаю, чтобы этот подход был достаточно хорош для матриц большого размера; ЭВМ, вероятно, может быстрее найти все собственные значения матрицы,. чем проверить эти неравенства. Другая возможность была открыта Ляпуновым в 1897 году, через два года после работы Гурвица. Она состоит в отыскании матрицы весов W, такой, чтобы взвешенная длинами (/)|| всегда убывала. Если такая матрица W существует, то решение уравнения и' = Аи должно быть устойчивым. Норма ЩГиЦ будет монотонно убывать к нулю, и после нескольких подъемов и спусков решение и должно вести себя так же. Настоящую ценность метод Ляпунова приобретает в нелинейном случае, когда уравнение зачастую решить невозможно, но убывание ]] Т^и (/)0 по-прежнему
сохраняется, так что устойчивость может быть доказана даже при отсутствии формулы для и (t).
Упражнение 5.4.6. Проверить, что формула (28) дает производную от скалярного произведения
xTy = xA (() уЛ (0+ ..•+*„ WynktY
Упражнение 5.4.7. сматривая собственныеУпражнение 5.4.7. сматривая собственныеИсследовать на устойчивость уравнение du/dt = Аи, рас-Исследовать на устойчивость уравнение du/dt = Аи, рас-значения матрицы А =значения матрицы А =О — 1О — 14О4О
Упражнение 5.4.7. сматривая собственные
Упражнение 5.4.7. сматривая собственные
Исследовать на устойчивость уравнение du/dt = Аи, рас-
Исследовать на устойчивость уравнение du/dt = Аи, рас-
значения матрицы А =
значения матрицы А =
О — 1
О — 1
4
О
4
О
Упражнение 5.4.8. С помощью собственных значений матриц
А =А =31—1]31—1]иЛ + Лт=[ 2 3[3—2иЛ + Лт=[ 2 3[3—2определить, должны ли решения уравнения du/dt = Au убывать по норме с момента времени ( = 0 и должны ли они убывать при t—► оо.Упражнение 5.4.9. Определить, устойчива или неустойчива система dv/dt =w, dw/dt = и.определить, должны ли решения уравнения du/dt = Au убывать по норме с момента времени ( = 0 и должны ли они убывать при t—► оо.Упражнение 5.4.9. Определить, устойчива или неустойчива система dv/dt =w, dw/dt = и.УРАВНЕНИЯ ВТОРОГО ПОРЯДКАУРАВНЕНИЯ ВТОРОГО ПОРЯДКАЗаконы диффузии приводят к системе уравнений первого порядка du/dt = Аи. То же самое происходит и в большом числе других приложений—в химии, в биологии и т. д., кроме наиболее важных законов физики. Это, например, второй закон Ньютона F = ma, где ускорение а есть вторая производная. Инерциальные члены дают уравнения второго порядка (мы должны решать систему d2u/dt2 = Au вместо du(dt = Au\ и наша цель состоит в том, чтобы понять, как этот переход ко вторым производным изменяет поведение решения *).Сравнение будет наилучшим, если мы рассмотрим ту же самую матрицу А:Законы диффузии приводят к системе уравнений первого порядка du/dt = Аи. То же самое происходит и в большом числе других приложений—в химии, в биологии и т. д., кроме наиболее важных законов физики. Это, например, второй закон Ньютона F = ma, где ускорение а есть вторая производная. Инерциальные члены дают уравнения второго порядка (мы должны решать систему d2u/dt2 = Au вместо du(dt = Au\ и наша цель состоит в том, чтобы понять, как этот переход ко вторым производным изменяет поведение решения *).Сравнение будет наилучшим, если мы рассмотрим ту же самую матрицу А:d^ud^u— Аи =— Аи ="—21"—2111(30)(30)Для того чтобы система начала «работать», должны быть заданы два начальных условия — «смещение» и = и0 и «скорость» du/dt = и'о. Чтобы удовлетворить этим условиям, для системы из п уравнений потребуется уже не п, а 2п чисто экспоненциальных решений.Заменим букву А буквой со и будем записывать частные решения в виде u = eim< х. Подставляя эту экспоненту в дифферен-Для того чтобы система начала «работать», должны быть заданы два начальных условия — «смещение» и = и0 и «скорость» du/dt = и'о. Чтобы удовлетворить этим условиям, для системы из п уравнений потребуется уже не п, а 2п чисто экспоненциальных решений.Заменим букву А буквой со и будем записывать частные решения в виде u = eim< х. Подставляя эту экспоненту в дифферен-х) Четвертые производные также возможны (при изгибе балок), но природа, по-видимому, препятствует появлению производных выше четвертого порядка.х) Четвертые производные также возможны (при изгибе балок), но природа, по-видимому, препятствует появлению производных выше четвертого порядка.
А =
А =
31
—1]
31
—1]
иЛ + Лт=[ 2 3
[3—2
иЛ + Лт=[ 2 3
[3—2
определить, должны ли решения уравнения du/dt = Au убывать по норме с момента времени ( = 0 и должны ли они убывать при t—► оо.
Упражнение 5.4.9. Определить, устойчива или неустойчива система dv/dt =w, dw/dt = и.
определить, должны ли решения уравнения du/dt = Au убывать по норме с момента времени ( = 0 и должны ли они убывать при t—► оо.
Упражнение 5.4.9. Определить, устойчива или неустойчива система dv/dt =w, dw/dt = и.
УРАВНЕНИЯ ВТОРОГО ПОРЯДКА
УРАВНЕНИЯ ВТОРОГО ПОРЯДКА
Законы диффузии приводят к системе уравнений первого порядка du/dt = Аи. То же самое происходит и в большом числе других приложений—в химии, в биологии и т. д., кроме наиболее важных законов физики. Это, например, второй закон Ньютона F = ma, где ускорение а есть вторая производная. Инерциальные члены дают уравнения второго порядка (мы должны решать систему d2u/dt2 = Au вместо du(dt = Au\ и наша цель состоит в том, чтобы понять, как этот переход ко вторым производным изменяет поведение решения *).
Сравнение будет наилучшим, если мы рассмотрим ту же самую матрицу А:
Законы диффузии приводят к системе уравнений первого порядка du/dt = Аи. То же самое происходит и в большом числе других приложений—в химии, в биологии и т. д., кроме наиболее важных законов физики. Это, например, второй закон Ньютона F = ma, где ускорение а есть вторая производная. Инерциальные члены дают уравнения второго порядка (мы должны решать систему d2u/dt2 = Au вместо du(dt = Au\ и наша цель состоит в том, чтобы понять, как этот переход ко вторым производным изменяет поведение решения *).
Сравнение будет наилучшим, если мы рассмотрим ту же самую матрицу А:
d^u
d^u
— Аи =
— Аи =
"—2
1
"—2
1
1
1
(30)
(30)
Для того чтобы система начала «работать», должны быть заданы два начальных условия — «смещение» и = и0 и «скорость» du/dt = и'о. Чтобы удовлетворить этим условиям, для системы из п уравнений потребуется уже не п, а 2п чисто экспоненциальных решений.
Заменим букву А буквой со и будем записывать частные решения в виде u = eim< х. Подставляя эту экспоненту в дифферен-
Для того чтобы система начала «работать», должны быть заданы два начальных условия — «смещение» и = и0 и «скорость» du/dt = и'о. Чтобы удовлетворить этим условиям, для системы из п уравнений потребуется уже не п, а 2п чисто экспоненциальных решений.
Заменим букву А буквой со и будем записывать частные решения в виде u = eim< х. Подставляя эту экспоненту в дифферен-
х) Четвертые производные также возможны (при изгибе балок), но природа, по-видимому, препятствует появлению производных выше четвертого порядка.
х) Четвертые производные также возможны (при изгибе балок), но природа, по-видимому, препятствует появлению производных выше четвертого порядка.
циальное уравнение, получаем условие, которому она должна удовлетворять:
/,2
^(е*®'х) = Д (etozx), или — игх = Ах. (31)
Вектор х должен быть собственным вектором матрицы А в точности как и раньше. Соответствующее собственное значение теперь равняется—©2, так что частота © связана со скоростью убывания X соотношением —ю2 = Х. Каждое частное решение ем х уравнения первого порядка дает два частных решения e‘to<x уравнения второго порядка, и два их показателя равны ® = ± V—X. Это не так лишь при Х = 0, когда имеется только одно значение корня; если соответствующий этому X собственный вектор есть х, то два частных решения будут равны х и tx.
Для нашей матрицы диффузии все собственные значения X отрицательны, и потому все частоты © вещественны: чистая диффузия преобразуется в чистое колебание. Множители eitot дают нейтральную устойчивость, решение не растет и не затухает и полная энергия остается в точности постоянной: она все время перераспределяется внутри системы. Общее решение уравнения d^ujdt1 — Аи, если матрица А имеет отрицательные собственные значения X,, ...,Х„ и если ©у = ]/—Ху, равно
и (/) = lcxeitoif + d^e-1®1^ х, + ... 4-(с,^'®»' Э-^е-'®^) хп. (32)
Как всегда, произвольные постоянные находятся из начальных условий. Это легче сделать (ценой дополнительной формулы), перейдя от «осциллирующих экспонент» к более привычным синусу и косинусу:
u(Z) —(a, cos ©,/ + <?! sin ©Д)х1 + ... + (a„cos©n/ + &nsin©n/)x„. (33)
Теперь начальное смещение легко отличить от начальной скорости: из t = 0 следует, что sin м/ = 0 и cos ю/ = 1, в результате чего получаем
ий = axxt 4- ... А-апх„, u0 = Sa, a = S~1ug.
Смещение согласуется с выбором коэффициентов а, а скорость — с выбором Ь; дифференцируя функцию и^ и полагая / = 0, получаем условие для определения b в виде
«o = &1®iXi4-...+6„®Bx„.
Подставляя это в (33), получаем искомое решение уравнения.
Мы хотим применить эти формулы к нашему примеру. Собственные значения равнялись Xt =—1 и Х2 =— 3, так что частоты равны ©t = l и й, = КЗ. Если система начинает движение из состояния покоя (т. е. начальная скорость и'й равна нулю), то
члены bsin<o< исчезнут. И если первый осциллятор получает единичное смещение, то требование и0 = агхг + агхг приводит к
1т. е. ах = аг = -^.1т. е. ах = аг = -^.
1
т. е. ах = аг = -^.
1
т. е. ах = аг = -^.
Следовательно, решение равно
и (/) = у cos tи (/) = у cos t+ -|cosK з/+ -|cosK з/11— 1— 1
и (/) = у cos t
и (/) = у cos t
+ -|cosK з/
+ -|cosK з/
1
1
— 1
— 1
Попытаемся дать физическое истолкование полученному решению. Система представляет собой две единичные массы, связанные друг с другом и с неподвижными стенками тремя одинаковыми пружинами (рис. 5.2). Первая масса передвигается в положение и0=1, вторая масса зафиксирована на месте, и при t = 0 мы их отпускаем. Их движение, описываемое функцией и (^), будет средним между двумя чистыми колебаниями, соответствующими двум собственным векторам. На первой гармонике массы движутся в унисон и средняя пружина никогда не растягивается (рис. 5.2а). Частота co^l оказывается такой же, как и для од -
Рис. 5.2. Две гармоники.Рис. 5.2. Две гармоники.
Рис. 5.2. Две гармоники.
Рис. 5.2. Две гармоники.
ной пружины с одной массой. Для высокочастотной гармоники х2 = (1,—1) с компонентами противоположных знаков и с частотой ]/3 массы движутся в противоположных направлениях, но с равными скоростями (рис. 5.2b). Общее решение является линейной комбинацией этих двух гармоник, и наше частное решение равняется их полусумме.
Такое движение является, как мы говорим, «почти периодическим» во времени. Если отношение tox/to2 было дробным, то две массы постепенно вернутся к состоянию и=1 и ш = 0 и весь процесс начнется сначала. Комбинация sin 2/ и sin 3/ будет иметь период 2л. Но, поскольку число V3 иррационально, мы можем
лишь сказать, что массы подойдут произвольно близко к начальному положению. Они также подойдут близко, если у нас хватит терпения дождаться, к противоположному положению и = 0 и ву = 1 Как и у бильярдного шара, бесконечно отскакивающего от идеально гладкого стола, полная энергия масс остается неизменной, и раньше или позже они подойдут сколь угодно близко к любому состоянию с той же энергией.
И вновь мы не можем не провести параллель с непрерывным случаем, когда вместо двух масс, или N масс, у нас имеется континуум. При переходе дискретных масс и пружин в сплошной стержень «вторые разности», задаваемые матричными коэффициентами 1, —2, 1, переходят во вторые производные. Этот предельный случай описывается знаменитым волновым уравнением d2u/dt2 = = д2и/дх2.
Упражнение 5.4.10. Используя диагонализацию (стр. 218), решить уравнен не
сРи dt2сРи dt2"1
сРи dt2
сРи dt2
Uo = 1
1
Упражнение 5.4.11. Решить уравнение
d2u Р—^ —1 d^=L—1 —5.
Упражнение 5.4.12. При наличии матрицы трения F две единичные массы будут колебаться по закону d2u/dt2 =—F du/dt-\- Аи. Подставить чистую экспоненту еР*х в это уравнение и получить для р квадратичную задачу на собственные значения.
Упражнение 5.4.13. Решение задачи и" = Аи по-прежнему дается собственными векторами матрицы А, образующими столбцы матрицы. S. Показать, что начальным условиям и самому этому дифференциальному уравнению удовлетворяет функция
(вместо и — SeAiS-1 и0, как это было в случае и'= AuY(вместо и — SeAiS-1 и0, как это было в случае и'= AuY(sin ant)i<nn(sin ant)i<nn
(вместо и — SeAiS-1 и0, как это было в случае и'= AuY
(вместо и — SeAiS-1 и0, как это было в случае и'= AuY
(sin ant)i<nn
(sin ant)i<nn
Упражнение 5.4.14. Найти движение второй массы в рассмотренном перед упражнениями примере, если первая масса получает при / = 0 удар:
КОМПЛЕКСНЫЙ СЛУЧАЙ: ЭРМИТОВЫИ УНИТАРНЫЕ МАТРИЦЫ
В дальнейшем становится уже невозможным работать только с вещественными векторами и вещественными матрицами. В первой половине этой книги, когда основная задача состояла в решении системы Ах = Ь, было очевидно, что решение х является вещественным при вещественных А и Ь. Поэтому необходимость в комплексных числах не возникала; их можно было бы допустить, но это не дало бы ничего нового. Теперь же мы не можем обойтись без них. Коэффициенты характеристического многочлена вещественной матрицы вещественны, но собственные значения (как в случае, когда X2 + 1 = 0) могут таковыми не быть.
Мы должны поэтому ввести пространство С" векторов с п комплексными компонентами. Сложение и умножение в этом пространстве осуществляются по тем же правилам, что и ранее. Но формулу || х |!2 = Xi + ... + х^ для длины вектора нужно изменить, иначе вектор с компонентами (1,0 будет иметь нулевую длину: l2 + i2 = 0. Это изменение в способе вычисления длины вызывает целый ряд других изменений. Скалярное произведение двух векторов, транспонированная матрица, определения симметрических, кососимметрических и ортогональных матриц при введении комплексных чисел нужно модифицировать. Но в каждом случае новое определение будет совпадать со старым, когда векторы и матрицы вещественны.
Все эти изменения перечислены на стр. 267, и этот список служит хорошим словарем для перевода между вещественным и комплексным случаем. Надеюсь, что он окажется полезным читателю. Этот список содержит также для каждого класса матриц наиболее полную информацию о расположении их собственных чисел. Нас в особенности интересуют симметрические матрицы: где расположены их собственные значения и чем характеризуются их собственные векторы? С точки зрения практики это наиболее важные вопросы в теории собственных значений и, следовательно, этот параграф является наиболее важным.
КОМПЛЕКСНЫЕ ЧИСЛА И СОПРЯЖЕННЫЕ К НИМ
Вероятно, читатель уже знаком с комплексными числами, но, поскольку нам нужны лишь основные факты, стоит дать короткий их обзор1). Каждому известно, что I, чем бы оно ни было, удовлетворяет уравнению t2 = —1. Это чисто мнимое число, равно
Э Важными понятиями являются комплексная сопряженность и модуль.
как и ib, где b вещественно. Сумма вещественного и мнимого чисел есть комплексное число a-Vib, и оно естественным образом изображается на комплексной плоскости (рис. 5.3).
Вещественные числа (для которых b = 0) и мнимые числа (а = 0) являются частными случаями комплексных чисел — они лежат на одной или другой координатной оси. Два комплексных числа складываются по правилу
(a 4~ ib) 4~ (с 4~ id) = (а 4- с) 4~ i (b 4- d)
и перемножаются с использованием соотношения ia =—1:
(а + ib) (с + id) = ас-)- ibc 4- iad 4- i^bd = (ас—bd) 4- i (be + ad).
Комплексно-сопряженное к a-V-ib есть число a—ib, т. e. знак при мнимой части изменен на противоположный. Геометрически это зеркальное отражение относительно вещественной оси. Любое вещественное число совпадает со своим сопряженным. Сопряженность обозначается чертой, a-)-ib = a—ib, и имеет три важных свойства:
Сопряженное к произведению равняется произведению сопряженных:
(а + ib) (с + id) = (ас —bd) —i (be 4- ad) = (a + ib) (c + id). (34)
Сопряженное к сумме равняется сумме сопряженных:
(а 4-е) 4-1 (b4-d) = (a + c) — i(b+d) = (a + ib) 4- (с + id).
Умножение любого числа a-V-ib на сопряженное к нему а—ib дает вещественное число, равное квадрату гипотенузы на
рис. 5.3:'
(а + ^)(а—ib) = а2 4-Ь2 = г2.(35)
Это расстояние г называется модулем исходного числа a + ib и (как и абсолютное значение вещественного числа, которое также не бывает отрицательным) обозначается вертикальными черточками: |а + /Ь | = г = ]/"а2 + Ь2.
Наконец, стороны связаны с гипотенузой тригонометрическими соотношениями
а = Ka2 + b2cos 0, b = Vсд + b2 sin 6.
Комбинируя эти уравнения, переходим к полярным координатам: а + ib = Vа2 + b2 (cos 0 -1- i sin 9) = rei6.(36)
Имеется важный частный случай, когда модуль г равняется единице. Тогда комплексное число есть e‘6 = cos6 + t sin 0 и оно находится на единичной окружности комплексной плоскости. При изменении 0 от 0 до 2л это число е‘е движется вокруг начала координат на фиксированном расстоянии |eie| =Kcos2 0 + sin2.0 = 1.
Упражнение 5.5.1. Для комплексных чисел 34-41 и 1—i
найти их положения на комплексной плоскости,
найти их сумму и произведение,
найти их модули и сопряженные.
Лежат они внутри или вне единичного круга?
Упражнение 5.5.2. Что можно сказать о
сумме комплексного числа и его сопряженного?
. (ii) сопряженном к числу, лежащему на единичной окружности?
произведении двух чисел, лежащих на единичной окружности?
сумме двух чисел, лежащих на единичной окружности?
Упражнение 5.5.3. Проверить, что при умножении двух чисел их модули перемножаются:
| (а4- ib) (с-)-id) | = | аД- ib 11 c4-id|,| (г16) (.Rel4,>) j = гУ?.
ДЛИНЫ И ТРАНСПОНИРОВАНИЕ В КОМПЛЕКСНОМ СЛУЧАЕ
Мы возвращаемся к линейной алгебре и переходим от вещественных чисел к комплексным. Первый шаг состоит в допущении комплексных векторов и не вызывает затруднений: по определению пространство С" содержит все векторы х с п комплексными компонентами
Xj = а, 4- ibr
Векторы х и у по-прежнему складываются покомпонентно, но скалярное умножение теперь производится на комплексные числа. Как и ранее, векторы и,, . ..,ик линейно зависимы, если некоторая нетривиальная комбинация сгиг + •.•+ ckvk дает нулевой вектор. Но коэффициенты с} теперь могут быть комплексными. Единичные координатные векторы по-прежнему принадлежат С", и они по-прежнему линейно независимы и образуют базис. Поэтому Сл также является векторным пространством размерности и.
Мы уже указывали, что определение длины должно быть изменено, поскольку квадрат комплексного числа не обязательно положителен и формула ||x||2 = Xi+... ф-х„ поэтому бесполезна. Новое определение совершенно естественно: х2 заменяется на модуль (л'у р и длина записывается так:
ЦхМаР + .-.+М. (37)
В двумерном случае
и|)х||2 = 2;и||у||2 = 25.и|)х||2 = 2;и||у||2 = 25.Г Г х = .
и|)х||2 = 2;
и||у||2 = 25.
и|)х||2 = 2;
и||у||2 = 25.
p + t ' ^=[2 —4t
Для вещественных векторов имелась тесная связь между длиной и скалярным произведением: ||х||2 = хтх. Мы хотим сохранить эту связь. Поэтому скалярное произведение должно быть модифицировано в соответствии с новым определением длины и стандартная модификация состоит в сопряжении первого вектора в скалярном, произведении. Это означает, что вектор х заменяется на х и скалярное произведение векторов х и у принимает вид
хту = х1у1+ ... +х„у„.хту = х1у1+ ... +х„у„.(38)(38)
хту = х1у1+ ... +х„у„.
хту = х1у1+ ... +х„у„.
(38)
(38)
Типичный пример в С2:Типичный пример в С2:
Типичный пример в С2:
Типичный пример в С2:
Ц-Л Г 4 "3/ ]’У L2 —i ’
хту = (1 —1)4 + (— Зг) (2—z)= 1 —Юг.
И если рассмотреть скалярное произведение вектора х на себя, то мы вновь приходим к квадрату длины:
хтх = (ЮН) (1 + г) + (&) (3i) = 2 + 9 = || х I)2.
Заметим, что утх отлично от хту; в дальнейшем мы должны следить за порядком векторов в скалярном произведении. Имеется еще одно новшество: если вектор х заменяется на сх, то скалярное произведение векторов х и у умножается не на с, а на с.
Остается сделать еще одно изменение. Это лишь изменение в обозначениях, которое сводит два символа в один: вместо черты для сопряжения и буквы т для транспонирования мы вводим сопряженное транспонирование и обозначаем его верхним индексом н. Поэтому хг = хн и то же обозначение применяется к матрицам: сопряженно транспонированная к А есть
(39)(39)ЛТ = ЛН с элементами (Лн);/ = Л/;.
(39)
(39)
Если матрица Л имеет размер тхп, то Лн имеет размер пхт. Например,
"2 -Н Зг 1н = Г 2 —i 4 + z О’
— 31— 314 — i
— 31
— 31
О
Этот символ Лн служит официальным признанием того факта, что когда рассматриваются матрицы А с комплексными элементами, нам очень редко бывает нужна просто транспонированная к А матрица. Практически во всех случаях нам нужна сопряженно транспонированная (или эрмитово транспонированная) матрица1). Суммируем все модификации, связанные с введением комплексных чисел:
5L. (i) Скалярное произведение векторов х и у равно хну, и эти векторы ортогональны, если хну = 0.
(И) Длина вектора х есть ||х|| = (xHx)x/2.
(Ш) Правило (ЛВ)Т = ВТЛ т после сопряжения всех элементов переходит в (ЛВ)Н = ВНЛН.
Упражнение 5.5.4. Найти длины и скалярное произведение векторов
Упражнение 5.5.5. Выписать матрицу Дн и вычислить С = АНА, если
Каково соотношение между С и Сн? Выполняется ли оно для любых векторов С вида АНА?
Упражнение 5.5.6. (i) Решить методом исключения уравнение Ах = 0 с матрицей А, указанной выше.
J) Матрицу Дн иногда называют «эрмитовой к А». К сожалению, здесь нужно быть внимательным, чтобы отличать это название от употребляемого в таком, например, контексте: «А является эрмитовой», что означает выполнение равенства А = АН.
(и) Показать, что вычисленное нуль-пространство ортогонально к Ш(ЛН), но не к обычному пространству строк 31 (Лт). Четырьмя фундаментальными пространствами в комплексном случае являются $ (Л) и Ш (Л), как и раньше, а затем 9? (Хн) и Ш (Лн).
ЭРМИТОВЫ МАТРИЦЫ
В предыдущих главах мы говорили о симметрических матрицах А, Л = ЛТ. Теперь, при наличии матриц с комплексными элементами, эта идея симметричности должна быть расширена. Правильным обобщением будут не матрицы, совпадающие со своими транспонированными, а матрицы, совпадающие со своими сопряженно транспонированными. Это эрмитовы матрицы, и типичным примером является
А =А =' 23 4-31' 23 4-313 —ЗГ53 —ЗГ5= ЛН.= ЛН.(40)(40)
А =
А =
' 2
3 4-31
' 2
3 4-31
3 —ЗГ
5
3 —ЗГ
5
= ЛН.
= ЛН.
(40)
(40)
Заметьте, что диагональные элементы должны быть вещественными, поскольку они не изменяются в процессе сопряжения. Каждый внедиагональный элемент соответствует своему зеркальному отражению относительно главной диагонали, и они являются комплексно-сопряженными друг с другом. В каждом случае а^ = = Uji, и на этом примере очень хорошо можно проиллюстрировать четыре основных свойства эрмитовых матриц.
Наша главная цель состоит в получении этих четырех свойств, и нужно вновь подчеркнуть, что они равным образом применимы и к вещественным симметрическим матрицам. Последние представляют собой частный и наиболее важный случай эрмитовых матриц.
|1 Свойство 1. Если Л = ЛН, то для всех комплексных векторов х число хнАх вещественно.
Любой элемент матрицы Л вносит свой вклад в хнАх:'
хнАх = [и иП 23—diи =
[3 4-315 у
'= 2titi 4-5уу 4-(3 —31) ну 4-(3 + 3t) «у.
Каждый из «диагональных членов» является вещественным, поскольку 2ии = 2|и|2и 5уу=5|у|2. Внедиагональные члены являются комплексно-сопряженными, так что они объединяются, давая удвоенную вещественную часть от (3—di^uu. Следовательно, все выражение хнАх вещественно.
Для доказательства общего случая мы можем вычислить (хнЛх)н; Мы должны получить сопряженную к матрице хнАх размера 1x1, но фактически мы вновь получаем то же самое
число: (хнЛх)н = хнЛнхнн = хнЛх, так что это число должно
быть вещественным.
II Свойство 2. Каждое собственное значение эрмитовой матрицы И вещественно.
|Л—X/ | =|Л—X/ | =2—X3 + 3t2—X3 + 3t3—37 5—X3—37 5—XДоказательство. Пусть X есть собственное значение, а х —соответствующий собственный вектор (ненулевой): Ах = Хх. Умножим это равенство на хн: хнАх = Ххнх. Левая часть вещественна по свойству 1, а в правой части хнх = ||х||2 вещественно и положительно, поскольку х#=0. Следовательно, X должно быть вещественным. В нашем примере
|Л—X/ | =
|Л—X/ | =
2—X
3 + 3t
2—X
3 + 3t
3—37 5—X
3—37 5—X
= Х2 — 7Х+ Ю — | 3 —3t [2 =
(41)(41)= X2—7X—8 = (X—8) (X+ 1).
(41)
(41)
Свойство 3. Собственные векторы эрмитовой матрицы, соответствующие различным собственным значениям, взаимно ортогональны.
Доказательство вновь начинается с заданной информации Ах = Кх, Ау = ^у и X^=ii и использует небольшой трюк. Сопряженно транспонированная к Ах = Хх обычно есть хнАн = Кхн, но, поскольку А = Лн и X вещественно по свойству 2, это равняется хнЛ = Ххн. Умножая это равенство справа на у, а равенство Ау = уу слева на хн, находим
xHAy = XxHy и хнАу = ^хну.
Следовательно, Ххну = рхну, и, поскольку Х=^р, заключаем, что хИу = 0, т. е. вектор х ортогонален к у. В нашем примере с Ах = 8х и Ау ——у собственные векторы вычисляются обычным способом из
(Л—8/)х =
" —6 З—З/ 3 + 3/ —3
—
"0
0
, X =
■ 1 ■
1 +1
(Л + Пу =
7 33 — 37
3 + 3/6
Ух
Уч.
7о' 0
, У =
"1— i
— 1 ‘
Эти два собственных вектора взаимно ортогональны:
Разумеется, любые кратные этим векторам, х/а и у^, равным образом будут собственными векторами. Пусть мы выбираем а = || х || и Р = |Ы1> так что х/а и у/^ являются единичными векто-
рами, т. е. собственные векторы нормализованы к единичной длине. Поскольку они уже были взаимно ортогональны, теперь они стали ортонор мированными. Если записать их в виде столбцов матрицы S, то (как обычно, когда собственные векторы служат столбцами) мы получим равенство S-MS = A. Столбцы диа- гонализующей матрицы ортонормированье Если исходная матрица А вещественная и симметрическая, то ее собственные значения и собственные векторы вещественны. Таким образом, нормализация собственных векторов превращает S в ортогональную матрицу. Вещественная симметрическая матрица может быть диаго- нализована ортогональной матрицей Q.
В комплексном случае нам нужно новое название и новый символ для матрицы с ортонормированными столбцами: она называется унитарной матрицей и обозначается через U. По аналогии с вещественными ортогональными матрицами, для которых QTQ = I и потому QT = Q-1, свойство ортонормированности столбцов переходит в
Свойство 4. Если А = АН, то существует диагонализующая матрица, которая является также и унитарной, S = U: ее столбцы ортонормированы и
и-гАи = инАи = А.(43)
Следовательно, любая эрмитова матрица может быть представлена в виде
А = UMJH =+ Х2х2х“ + ... + Хпхпх^. (44)
(45)(45)Это разложение известно под названием спектральной теоремы. Оно выражает матрицу А в виде комбинации одномерных проекций x^V, подобных проекциям ааТ из гл. 3. Они разбивают любой вектор b на его компоненты р = х^х^ по направлениям единичных собственных векторов, которые образуют множество взаимно перпендикулярных осей. Затем эти отдельные проекции р берутся с весами Хг и суммируются, давая
(45)
(45)
АЬ =(х^Ь) + • • • + Чхп k.Xnb\
Если все X, = 1, то мы получили сам вектор Ь; матрица А = = UIUH является единичной. В любом случае мы можем проверить (44) и (45) непосредственно с помощью перемножения
матриц:
Ab = UAUHb =Ab = UAUHb =11В нашем примере оба собственных вектора х =В нашем примере оба собственных вектора х =11и у =и у =А—Г— 1А—Г— 1имеют длину КЗ» и нормализация дает унитарную матрицу, которая диагонализует А:имеют длину КЗ» и нормализация дает унитарную матрицу, которая диагонализует А:11—14-1 —111—14-1 —1U"1AU =U"1AU =8 О'О —18 О'О —1
Ab = UAUHb =
Ab = UAUHb =
1
1
В нашем примере оба собственных вектора х =
В нашем примере оба собственных вектора х =
1
1
и у =
и у =
А—Г— 1
А—Г— 1
имеют длину КЗ» и нормализация дает унитарную матрицу, которая диагонализует А:
имеют длину КЗ» и нормализация дает унитарную матрицу, которая диагонализует А:
11—1
4-1 —1
11—1
4-1 —1
U"1AU =
U"1AU =
8 О'
О —1
8 О'
О —1
Тогда спектральное разложение 17Л{/н = Л1х1х1н + Х2х2х|1 принимает вид
— г3— г311[1 l-!]-lri-i[1 l-!]-lri-i[1 +i[1 +i-1]=Г 2-1]=Г 21 + i1 + i— 1— 13 + 3i3 + 3i3 —ЗЛ = А.53 —ЗЛ = А.5
— г
3
— г
3
1
1
[1 l-!]-lri-i
[1 l-!]-lri-i
[1 +i
[1 +i
-1]=Г 2
-1]=Г 2
1 + i
1 + i
— 1
— 1
3 + 3i
3 + 3i
3 —ЗЛ = А.
5
3 —ЗЛ = А.
5
Упражнение 5.5.7. Выписать любую неэрмитову матрицу, даже вещественную, и найти вектор х, такой, чтобы число хнАх не было вещественным. (Только эрмитовы матрицы обладают свойством 1.)
Упражнение 5.5.8. Найти собственные значения и собственные векторыг‘ о иУпражнение 5.5.8. Найти собственные значения и собственные векторыг‘ о иединичной длины для матрицы А =единичной длины для матрицы А =—i О—i О. Вычислить матрицы Xj^xi1 и. Вычислить матрицы Xj^xi1 и'Кгхгх^ и проверить, что в сумме они дают матрицу А, а их произведение есть нулевая матрица. (Почему (X,х, х^1) (Х2х2х?) =0?)'Кгхгх^ и проверить, что в сумме они дают матрицу А, а их произведение есть нулевая матрица. (Почему (X,х, х^1) (Х2х2х?) =0?)
Упражнение 5.5.8. Найти собственные значения и собственные векторыг‘ о и
Упражнение 5.5.8. Найти собственные значения и собственные векторыг‘ о и
единичной длины для матрицы А =
единичной длины для матрицы А =
—i О
—i О
. Вычислить матрицы Xj^xi1 и
. Вычислить матрицы Xj^xi1 и
'Кгхгх^ и проверить, что в сумме они дают матрицу А, а их произведение есть нулевая матрица. (Почему (X,х, х^1) (Х2х2х?) =0?)
'Кгхгх^ и проверить, что в сумме они дают матрицу А, а их произведение есть нулевая матрица. (Почему (X,х, х^1) (Х2х2х?) =0?)
Упражнение 5.5.9. Используя собственные значения и собственные векторы, вычисленные на стр. 218, найти унитарную матрицу (/, диагонализующую' А, и выполнить спектральное разложение (в три матрицы /.^хр') для
9е9е" 1А= —10" 1А= —10—12-1—12-1О"— 11О"— 11
9е
9е
" 1
А= —1
0
" 1
А= —1
0
—1
2
-1
—1
2
-1
О"
— 1
1
О"
— 1
1
Упражнение 5.5.10. Доказать, что определитель любой эрмитовой матрицы является вещественным.
Спектральная теорема и остальное в свойстве 4 были на самом деле'доказаны лишь в случае, когда собственные значения матрицы А различны. (Тогда, очевидно, имеется п независимых собственных векторов, что обеспечивает диагонализуемость матрицы Д.) Тем не менее справедливо (см. § 5.6), что даже при наличии кратных собственных значений эрмитова матрица по-прежнему имеет полный набор ортонормированных собственных векторов. Следовательно, в любом случае матрица А может быть диагонализована с помощью унитарной матрицы U.
Только эрмитовы матрицы обладают одновременно и вещественными собственными значениями, и ортонормированными собственными векторами. Если U-1AU равняется вещественной диагональной матрице Л и матрица U унитарна, то матрица А обязательно является эрмитовой:
Ан = l.UKU-^H = UKUH = А.
Для математика это разложение А = UMJH отнюдь не выглядит неожиданным; это одно из основных соотношений, и никто не назвал бы его спорным. Однако психологи, например, не соглашаются с этим (или друг с другом). Они ухитряются порождать множество дискуссий о спектральной теореме, и мы попытаемся это кратко объяснить. Но следующие две страницы читатель может пропустить, и это не скажется на цельности восприятия.
ФАКТОРНЫЙ АНАЛИЗ И АНАЛИЗ ОСНОВНЫХ КОМПОНЕНТ
Наша цель состоит в отыскании некоторой естественной структуры в множестве экспериментальных данных — например, в наборе результатов тестов по физике, математике, истории и английскому языку. Эта задача относится к области так называемого многомерного анализа. Некоторые из его подразделов используются при обработке результатов экспериментов для «внешних целей», т. е. для прогнозирования чего-либо за пределами данных. Другие подразделы относятся полностью к их внутренней структуре.
Проблема прогнозирования является типичной для регрессионного анализа: мы находим IQх) каждого студента и пытаемся решить, можно ли было использовать результаты упомянутых выше тестов (или можно ли будет их использовать в будущем) для предсказания IQ. Другими словами, мы ищем линейную
Э IQ (intelligence quotient) — коэффициент умственного развития.— Прим, перев. '
комбинацию результатов четырех тестов, дающую IQ. Такая комбинация содержит четыре неизвестных коэффициента, и каждому студенту соответствует одно уравнение. Это классическая задача, решаемая по методу наименьших квадратов, когда число уравнений больше числа неизвестных и собственные значения не участвуют в рассмотрении *).
Для иллюстрации вопросов о внутренней структуре предположим, что данные размещены в корреляционной матрице R размера 4x4. Диагональные элементы равняются 1 (каждая случайная переменная х, идеально соотносится с собой), а внедиагональные элементы г^ дают корреляцию между результатами 1-го и /-го тестов, например, между физикой и математикой. Затем при помощи одной из разновидностей анализа, называемой анализом основных компонент, мы ищем некоррелирующие комбинации этих четырех тестов. Говоря языком линейной алгебры, мы ищем взаимно ортогональные векторы. Прекрасным средством для решения этой задачи является спектральное разложение вещественной симметрической матрицы R: если собственные векторы матрицы R суть qv .. ., q4, то они образуют ортогональную матрицу Q, диагонализующую R: Q-1RQ = A, или
"X
'Г ql
R = QAQ! =
Qi •••
q^
•
•
L
"I
У Xj ql
=
У^
У^Я4
*
Матрица Q представляет собой унитарную матрицу U, которая в нашем случае вещественна. Каждый вектор УЧх^ Дает комбинацию четырех тестов, и эти четыре специальные комбинации некоррелированны. Больших противоречий пока что не возникает.
Теперь мы переходим к факторному анализу, который также должен объяснить смысл внедиагональных элементов корреляционной матрицы. Желательно, чтобы при этом использова-
Н Наш пример описывает в некотором роде «обратную» ситуацию, поскольку более естественно использовать IQ для каких-либо других предсказаний. Но, быть может, обратимость этих предсказаний, почти равноценная обратимости прошлого и будущего, имеет некий глубокий смысл.
лось сравнительно небольшое число факторов / вновь являющихся линейными комбинациями исходных тестов. Но эти факторы не объясняют полностью смысл диагональных элементов гИ=\. Если один тест дает очень узкий разброс оценок вследствие излишней трудности или излишней простоты вопросов, а другой дает широкий разброс, то факторный анализ игнорирует эту разницу. Он связан с получением правильной взаимозависимости, и идеальной ситуацией будет та, в которой корреляционная матрица разлагается так:
R =
'1
0.74
0.24
0.24"
=
0.74
1
0.24
0.24
0.24
0.24
1
0.74
.0,24
0.24
0.74
1 _
В этом случае два фактора отвечают за все корреляции. Первый из них есть столбец с элементами, равными 0.7. Этот столбец следует интерпретировать как фактор общего умственного развития: хорошие результаты в математике соседствуют с хорошими результатами в родном языке. Второй фактор отличает сильную корреляцию между математикой и физикой, а также между английским и историей от более слабой корреляции между этими двумя группами. Это фактор типа «физика против лирики». Именно такие переменные являются правильными для интерпретации рассматриваемых данных, и их компоненты 0.7, 0.5 и —0.5 называются нагрузками факторов на индивидуальных тестах. Во всех четырех тестах эти факторы отвечают за 0.74 единичной дисперсии главной диагонали; эти величины суть «общности», равные диагональным элементам матрицы FF"^ в разложении R = FFT + D.
Споры возникают по двум причинам. Во-первых, матрица факторных коэффициентов F и диагональная матрица D определяются отнюдь не единственным образом. Мы можем разложить ту же самую матрицу R так:
Я = г0.6 /6^8
0 -
Г 0.6
0.6
0.4
0.4 "
+ D.
0.6 /038
0
/038
L о
/638 0
0 /0.58
0
/ 0.58_
0.40
/6^8
1,0.40
/6^8_
Здесь мы изменили число факторов, которое заранее никому не известно. На самом деле и «общности» никому не известны, так что мы можем изменять D и получить хоть миллион совершенно различных разложений. Абсолютно неясно также, какой вес должен быть назначен уровню общего умственного развития и как отделить «физику» от «лирики».
Другой источник споров появляется после выбора D и числа р искомых факторов и состоит в возможности «вращения факторов». Для любой ортогональной матрицы Q порядка р матрица факторных коэффициентов F = FQ отвечает в точности за те же корреляции FFT = FQQIFT = FF1, что и сама F. Следовательно, матрицы F и F полностью взаимозаменяемы. В типичной задаче исходные факторы могут иметь существенные нагрузки на десятки переменных и интерпретировать такой фактор практически невозможно. Он имеет математический смысл как вектор fz, но не имеет никакого полезного смысла для социолога. Поэтому мы пытаемся подобрать вращение, которое давало бы простую структуру, с большими нагрузками на малое число компонент и пренебрежимо малыми нагрузками на остальные. Для получения положительных нагрузок используются даже наклонные факторы: в нашем втором разложении для R ортогональность f]fj= 0 была потеряна. Поэтому два специалиста, оценивая D, р и Q, очень легко могут получить совершенно различные интерпретации одних и тех же данных. Но техника эта настолько необходима, что, начинаясь как «паршивая овца» многомерного анализа, она распространилась от психологии в биологию, экономику и социологию.
Упражнение 5.5.11. Найти другое разложение FFT-\-D Той же самой матрицы R. Имеет ли оно какой-нибудь смысл?
УНИТАРНЫЕ И КОСОЭРМИТОВЫ МАТРИЦЫ
Для начала рассмотрим некоторую аналогию. Эрмитову матрицу можно сравнить с вещественным числом, косоэрмитову матрицу—с чисто мнимым числом, а унитарную матрицу — с числом на единичной окружности, т. е. с комплексным числом е10, модуль которого равен единице. Для собственных чисел этих матриц предлагаемое сравнение является более чем аналогией: числа А сами по себе являются вещественными, если АН = А, чисто мнимыми, если /<н =— К, и находятся на единичной окружности при UH = U-1-. Для всех этих матриц их собственные векторы ортогональны и могут быть выбраны ортонормированными 1).
х) В следующем параграфе мы определим более широкий класс матриц, соответствующий множеству всех комплексных чисел. Матрица, не имеющая ортогональных собственных векторов, не принадлежит ни к одному из этих классов и выпадает из всей аналогии.
Поскольку свойства эрмитовой матрицы уже установлены, остается рассмотреть матрицы К и U. Мы ищем аналогичный набор четырех фундаментальных свойств и получаем его без труда благодаря тесной связи косоэрмитовой метрицы К с эрмитовой матрицей Л:
5М. Если матрица К косоэрмитова, так что Кн = — К, то матрица Л = IK эрмитова;
AH = ^tt№ = <-i>k-K> = A.
Аналогично, если матрица А эрмитова, то К = (А косоэрмитова.
Пример эрмитовой матрицы, приведенный на предыдущих страницах, дает
Диагональные элементы всегда являются кратными I (нуль допускается).
Это простое соотношение между матрицами К и А превращает свойства 1—4 в следующие:
(Г) Для любого х комбинация х^Кх является чисто мнимой.
(2') Каждое собственное значение матрицы К является чисто мнимым.
(3') Собственные векторы, соответствующие различным собственным значениям, ортогональны.
(4') Существует унитарная матрица U, такая, что U-1KU = Л.
Упражнение 5.5.12. Как показать невырожденность матрицы К—/, если К косоэрмитова?
Упражнение 5.5.13. Взять произвольную вещественную косоэрмитову матрицу К и вещественный вектор х и проверить, что хН/<х = 0. Объяснить, как это следует из свойства 1'.
Упражнение 5.5.14. Любая матрица Z может быть разложена в сумму эрмитовой и косоэрмитовой компонент, Z = А-\-К, аналогично разбиению комплексного числа z в сумму a^-ib. Вещественная часть числа z равняется половине z+z, а «вещественная часть» матрицы Z есть половина Z+ZH. Найти подобную формулу для «мнимой части» К и разложить
Z =Z =в л + к.в л + к.3+1 4-!-2гО 53+1 4-!-2гО 5
Z =
Z =
в л + к.
в л + к.
3+1 4-!-2г
О 5
3+1 4-!-2г
О 5
Теперь мы переходим к унитарным матрицам. Они уже определены как квадратные матрицы с ортонормированными столбцами;
(46)(46)UHU = I, или UUH = I, или UH=LM.
(46)
(46)
Это приводит прямо к первому из их свойств: умножение на U не влияет на скалярные произведения, углы или длины. Мы уже знаем это свойство для ортогональных матриц (которые являются вещественными унитарными матрицами, U = Q\ Теперь мы переходим к комплексному случаю, и доказательство вновь очевидно:
I! Свойство 1" (Ux)H (Uy) = xHUHUy = хну и || С7х |j2 = |j х |ja ^.
Следующее свойство указывает расположение собственных значений матрицы U аналогично свойствам 2 и 2': для унитарной матрицы каждое собственное значение лежит на единичной окружности.
[
Свойство 2". Каждое собственное значение X матрицы U имеет, модуль | X |, равный 1.
Это следует прямо из Ux — Хх, если мы сравним длины в обеих частях: || Ux || = ||х [| по свойству 1" и || Л,х(( = | X | |[х j|. Следовательно, |Х|=1.
II Свойство 3". Собственные векторы, соответствующие различным И собственным значениям, ортогональны.
Для доказательства выпишем соотношения Ux = Xx и Uy — ay и их скалярное произведение
(Ux)n Uy = (Xx)Hay, или хну = (Хо) хну. (47)
Если бы а равнялось X, то мы имели бы Хо = XX = | X |2 = 1. Но, поскольку о отлично от X, мы знаем, что Хо^1, и потому хну = 0..
Нормализуя эти собственные векторы к единичной длине и располагая их по столбцам матрицы S, мы тем самым превращаем диагонализующую матрицу в унитарную матрицу, которую не следует путать с диагонализуемой матрицей U\
[I Свойство 4"- Если U—унитарная матрица, то она имеет унитарную диагонализующую матрицу S\ S-1US = SHUS = Л.
Все четыре свойства иллюстрируются матрицами вращений
.СОЗ / — sin t
U(t)= - t t -[sin/ cos/
: , которые взаимно: , которые взаимноИх собственные значения суть е14 и e-tt, и они имеют модуль 1. Собственными векторами являются Пи
: , которые взаимно
: , которые взаимно
*) При сохранении скалярных произведений длины сохраняются: для доказательства достаточно положить у = х.
ортогональны. После нормализации матрицу S:ортогональны. После нормализации матрицу S:они образуют унитарнуюони образуют унитарнуюu=sxs-Y=u=sxs-Y=1//2 1/К2-НУ^ t/^21//2 1/К2-НУ^ t/^2еиеиe-ite-it1/}/2 НУ 21//2 -ЦУ21/}/2 НУ 21//2 -ЦУ2
ортогональны. После нормализации матрицу S:
ортогональны. После нормализации матрицу S:
они образуют унитарную
они образуют унитарную
u=sxs-Y=
u=sxs-Y=
1//2 1/К2
-НУ^ t/^2
1//2 1/К2
-НУ^ t/^2
еи
еи
e-it
e-it
1/}/2 НУ 2
1//2 -ЦУ2
1/}/2 НУ 2
1//2 -ЦУ2
Очевидно, что вращения сохраняют длины, || Ux|| = ||х||, и в примере на стр. 245 эта матрица U определяется как экспонента от кососимметрической матрицы К".
если К = । q ,
Мы обещали тогда связать каждую матрицу К с унитарной матрицей U:
5N. Если матрица К косоэрмитова, то eKt унитарна. Поэтому решение уравнения du/dt —Ки имеет такую же длину, как и начальное значение и0: ||u(/)|| = i|eK<u0|| = ||u0||.
Простейшее доказательство основано на диагонализации матрицы К". K = SAS~1 для некоторой унитарной матрицы S и чисто мнимой матрицы Л. Тогда ем является диагональной матрицей с элементами еК1<, ..., eXnt, модули которых равны единице. Такая матрица является унитарной. Поэтому eKt = SeMS-1 есть произведение трех унитарных матриц. Следующее упражнение показывает, что это произведение должно быть унитарной матрицей.
Упражнение 5.5.15. Показать, что матрица UV является унитарной, если унитарны U и V. Использовать условие UHU = J.
Упражнение 5.5.16. Показать, что модуль определителя унитарной матрицы равен единице, | det 671 = 1, но сам определитель не обязательно равен 1. Описать все матрицы размера 2x2, которые являются одновременно диагональными и унитарными.
Упражнение 5.5.17. Найти такой третий столбец, чтобы матрица
1/КЗ 1//2
U — \/Уз о
1/Кз —I/K2
вычислитьвычислитьбыла унитарной. Насколько произвольным является этот выбор?
вычислить
вычислить
У пражнение eKt^Se^S-1 и производная приУ пражнение eKt^Se^S-1 и производная при5.5.18.5.5.18.Диагонализовать матрицу К=
У пражнение eKt^Se^S-1 и производная при
У пражнение eKt^Se^S-1 и производная при
5.5.18.
5.5.18.
проверить унитарность этой экспоненты. Чему равняется ее 1 = 0?
Упражнение 5.5.19. Описать все матрицы размера 3X3, которые являются одновременно эрмитовыми, унитарными и диагональными. Сколько их?
ВЕЩЕСТВЕННОСТЬ И КОМПЛЕКСНОСТЬ
R”—пространство векторов с п веще- <-> С" — пространство векторов с п ком- ственными компонентамиплексными компонентами
длина: ||х|12 = -<1+••- + ^ <-» длина: || х ||2 = | хг |2+ ... +| хп |2 транспонированная: А7; = Ац ^ сопряженно транспонированная:
Aq = Ад (АВ 7 = В7А7 (АВ)п = ВН Аи-
скалярное произведение:скалярное произведение:
х7У = ххухА- •. .А-хпУп<^>хНу = х1у1А- ■ --А-ХпУп(Ах)7 у = х\(А7у) <-> (Дх)Н у = хН (Ану)ортогональность: х7у = 0 <-» ортогональность: xHj/ = 0
симметрические матрицы: Дт = Л <-> эрмитовы матрицы: Ан = А хнАх вещественно, каждое собственное значение вещественно и
A = HAU-i = УЛПН
кососимметрические матрицы: К7 =— ^ <-> косоэрмитовы матрицы: КН = — КхИКх мнимо, каждое собственное значение мнимо и К = 1А
ортогональные матрицы:<—> унитарные матрицы:
Q7Q = 1, или QT = Q-1 UHU = I, или t/H = (/-i (Qx)7 (Qy) = x7y и || Qjc || = || х || <-э. (С7х)н (С/^) =хнг/ и || £7х[| = [|х||
Столбцы, строки и собственные векторы являются ортонор мированнымии каждое | X | = 1.
ПРЕОБРАЗОВАНИЯ ПОДОБИЯИ ТРЕУГОЛЬНЫЕ ФОРМЫ
Практически каждый шаг в этой главе имел отношение к комбинации S-1AS, где столбцы матрицы S являлись собственными векторами матрицы А. Когда А была эрмитовой или косоэрмитовой, мы писали U вместо S, чтобы подчеркнуть ортонормирован- ность собственных векторов. Но эта матрица по-прежнему оставалась матрицей из собственных векторов. Теперь в последнем параграфе мы будем рассматривать другие комбинации М-1АМ, образованные по типу S-1AS, но с произвольной невырожденной матрицей М. Матрицы собственных векторов S может не существовать или мы можем не знать ее, или не хотим ее использовать.
Стоит вспомнить, каким образом возникают эти комбинации. Рассмотрим дифференциальное или разностное уравнение относи-
тельно неизвестной и и введем новую неизвестную и путем «замены переменных» и = Ми. Тогда
^- = Аипереходит в — АМи, или = М~хАМи,
atгatat
ип+1 = Аип переходит в Мип+1 = АМип, или оп+1 = М~хАМип.
Новая матрица в рассматриваемом уравнении есть М~ХАМ. В частном случае M = S система распадается и гармоники развиваются независимо. На языке приложения А это означает, что в качестве нового базиса пространства были выбраны собственные векторы и соответствующее преобразование представляется диагональной матрицей S-1AS==A. Это максимально возможное упрощение, но и другие менее радикальные упрощения также полезны: даже при мы можем надеяться, что работать с матрицей 2W~MAf будет легче, чем с самой А..
Предположим для начала, что мы рассматриваем все возможные матрицы М. Это дает целое семейство матриц М~ХАМ, которые называются подобными друг другу (и матрице А). Переход от А к М~ХАМ называется преобразованием подобия. Любую из этих матриц можно ввести в рассматриваемое дифференциальное или разностное уравнение простой заменой и = Ми, так что они должны иметь между собой что-то общее, а именно: подобные матрицы имеют одинаковые собственные значения.
II 50. Если В = М-ХАМ, то А и В имеют одни и те же собственные значения с одинаковыми кратностями.
Доказательство этого факта очень простое. Собственные значения матрицы В являются корнями многочлена
det (В—X/) = det ^М~ХАМ —X/) = det (/И"1 (А —X/)Л4) =
= det М-1 det (А — X/) det М = det (А —X/).(48)
Поскольку А и В имеют один и тот же характеристический многочлен, они имеют одинаковые собственные значения. Если х есть собственный вектор, соответствующий собственному значению X, то
Ах = Хх, или MBM""xx = Xx, или В(Л1-1х) = Х(Л1'1х).
Это вновь доказывает, что X является также и собственным значением матрицы В с собственным вектором М-1х.
При решении уравнения Ах = Ь комбинации М-ХАМ не возникают; там главная операция заключалась в умножении матрицы А (только слева!) на матрицу, которая осуществляет вычитание кратного одной строки из другой. Такое преобразование сохраняет нуль-пространство и пространство строк матрицы А, но оно совсем не заботится о собственных значениях. В отличие от этого преобразования подобия не изменяют собственных значений, и
фактически эти собственные значения вычисляются с помощью последовательности простых преобразований подобия. Матрица постепенно приобретает треугольную форму, и собственные значения постепенно появляются на главной диагонали. (Такая последовательность описывается в гл. 7, а один шаг ее иллюстрируется в упр. 5.6.2 ниже.) Это значительно лучше, чем пытаться вычислить многочлен det (Л—V), корни которого должны быть собственными значениями. На практике оказывается невозможным сконцентрировать всю эту информацию в многочлене, а затем извлечь ее оттуда.
Упражнение 5.6.1. Показать, что, если матрица В подобна А с матрицей перехода М, а матрица С подобна В с матрицей М', то С подобна А. Какие матрицы подобны единичной?
Упражнение 5.6.2.
Рассмотреть произвольную матрицу
А и специальную
матрицу
М;
А =
"а о!
-8
b с" е t
A 1 _
, М =
"cos 6 — sin 6
0
sin 6
cos 6
0
0"
0
1.
Выбрать м-мм
такой угол поворота был равен нулю.
6,
чтобы
элемент
на месте
(3,
1) в матрице
Замечание. Продолжить такое «уничтожение» не так просто, поскольку вращения, дающие нули на местах d и /г, «испортят» полученный нами нуль в углу. Для матриц произвольного размера мы должны оставлять одну диагональ под главной и завершать вычисление собственных значений другим путем. В противном случае корни любого многочлена можно было бы находить с использованием только квадратных корней, определяющих 6, а это невозможно.
Упражнение 5.6.3. (а) Для обратимой матрицы А найти такую матрицу М, которая позволит доказать подобие матриц АВ и ВА, откуда будет следовать равенство их собственных значений.
Вывести отсюда, что матрицы АВ и В А имеют одинаковый след, а затем доказать этот факт непосредственно путем сложения элементов их главных диагоналей, если
Из рассмотрения следов матриц вывести, что равенство АВ — ВА = 1 не может выполняться для произвольных матриц Л и В. В гильбертовом пространстве основные уравнения квантовой механики имеют вид
Аи = -^-, Ви = хи, (АВ — ВА) и=Л- (хи)—х^=и),dx ' ах ' ' dx '
и они должны иметь решения.
ТРЕУГОЛЬНЫЕ ФОРМЫ С УНИТАРНОЙ МАТРИЦЕЙ М
Наше первое отступление от обычного случая M = S может показаться не слишком разумным: вместо того чтобы допустить более общую матрицу М, мы поступаем наоборот и ограничиваемся унитарной. Задача состоит в отыскании некоторой достаточно простой формы, которую может принять матрица М^АМ при этом ограничении. Если собственные векторы матрицы не ортогональны, то получить диагональную матрицу Л невозможно. Однако следующее утверждение, так называемая лемма Шура, дает очень полезную (по крайней мере теоретически) форму матрицы1).
5Р. Для произвольной квадратной матрицы А существует унитарная матрица M = U, такая, что U-1AU = Т есть верхняя треугольная матрица. Собственные значения матрицы Т совпадают с собственными значениями матрицы А и расположены на ее главной диагонали.
Доказательство. Любая матрица, например размера 4x4, имеет по крайней мере одно собственное значение Ку, в наихудшем случае оно будет повторяться четыре раза. Поэтому матрица А имеет по крайней мере один собственный вектор х. Мы нормализуем х к единичному вектору хг и помещаем его в первый столбец матрицы U. На этом этапе определить остальные три столбца невозможно, и мы заполняем их произвольным образом, но так, чтобы получившаяся матрица /Дбыла унитарной. (Процесс Грама- Шмидта гарантирует осуществимость этого.) Произведение 0ДАиг
Ах1 = 'К1хАх1 = 'К1химеет по крайней означает, чтоимеет по крайней означает, чтоилиилимере один столбец нужного вида:
Ах1 = 'К1х
Ах1 = 'К1х
имеет по крайней означает, что
имеет по крайней означает, что
или
или
На следующем шаге мы работаем с матрицей размера 3x3, расположенной в правом нижнем углу. Эта матрица имеет собственное значение %2 и единичный собственный вектор х2, который
может
быть
помещен
в первый столбец унитарв
ой матрицы
м2
размера
3x3. Тогда
"10 0 о* 0 0 М4
и и4ЧиДАи^и2 =
-^ * * 0 Х2 * * 0 0 * *
!) О<
L0
латок
этой главы
посвящается главным образом т
.0 0 *
еории, а не пр
ИЛО-
же ни ям.
Наконец, на последнем шаге собственный вектор матрицы размера 2x2 в правом нижнем углу помещается в унитарную матрицу М3,
находящуюся в углу матрицы U3 и
Ut1 kU^U^AU.U^ U3 =Ut1 kU^U^AU.U^ U3 =О о _ОО о _О* к о о* к о о**ко**ко****= Т.= Т.
Ut1 kU^U^AU.U^ U3 =
Ut1 kU^U^AU.U^ U3 =
О о _О
О о _О
* к о о
* к о о
*
*
к
о
*
*
к
о
*
*
*
*
= Т.
= Т.
Произведение U = UyU2U3 вновь является унитарной матрицей (упр. 5.5.15), так что мы получаем требуемое представление U^AU — T
Поскольку эта лемма справедлива для всех матриц, она часто позволяет нам обойтись без предположения о диагонализуемости матрицы А. Например, мы можем использовать ее для доказательства того, что степени Ак стремятся к нулю, когда все | Xz | < 1, и что экспоненты eAt стремятся к нулю, когда все Re Xz < 0, даже без полного набора собственных векторов, предполагавшегося теорией устойчивости в § 5.3 и 5.4.
"4 — 5'2 —3"4 — 5'2 —3= Т, если А == Т, если А =Упражнение 5.6.4. Повторить шаги доказательства для нахождения U-iAU=
"4 — 5'
2 —3
"4 — 5'
2 —3
= Т, если А =
= Т, если А =
Упражнение 5.6.5. Найти треугольную форму U-1AU = Т для А = .
Упражнение 5.6.6. Доказать теорему Гамильтона — Кэли о том, что любая матрица удовлетворяет своему характеристическому уравнению: если р (X) = = det(Л—X/), то р(Л) = 0. Указание: доказать, что р(Т) = 0, например, для матрицы размера 3x3 путем перемножения треугольных матриц р (Т) = = (Т— ХА (Т — Х2) (Т— Х3). Затем подставить матрицу A = UTU-1 в р (Л) = = (Л—X]) (Л — Х2) (Л — Х3) и получить равенство р(А) = 0.
ДИАГОНАЛИЗАЦИЯ ЭРМИТОВЫХ МАТРИЦИ СПЕКТРАЛЬНАЯ ТЕОРЕМА
В качестве применения этой треугольной формы мы хотим показать, что любая эрмитова матрица имеет полный набор орто- нормированных собственных векторов безотносительно к тому, являются ли ее собственные значения различными или нет. Доказательство состоит из двух шагов:
Если матрица А эрмитова, a U унитарна, то IMAU автоматически является эрмитовой:
ф-^Аи^ = инАн<и-^ = и-гАи.'
J) Для матриц большего размера доказательство проводится по индукции.
(ii) Матрица Т = U-1AU из теоремы 5Р оказывается поэтому одновременно треугольной и эрмитовой, так что она должна быть диагональной. Матрица Т должна совпадать с Л, когда А эрмитова.
5Q. Любая эрмитова матрица А может быть диагонализована при помощи подходящей унитарной матрицы U.
Замечание 1. То же самое справедливо для любой косоэрмитовой матрицы К, поскольку К = 1А.
Замечание 2. Если матрица А вещественная и симметрическая, то такой же будет и матрица собственных векторов (или по крайней мере ее собственные векторы могут быть выбраны вещественными). Поэтому матрица U оказывается вещественной и унитарной, другими словами, она является ортогональной матрицей Q.
Замечание 3. Для эрмитовых матриц вполне обоснованно существование полного набора ортонормированных собственных векторов даже при наличии кратных собственных значений. Мы.можем трактовать матрицу А как предел эрмитовых матриц, имеющих различные собственные значения, и при подходе к пределу собственные векторы остаются ортогональными. В отличие от этого неэрмитовы матрицы
Л (6) =
"О
О
имеют собственные векторы
'Г
О
и
cos О’
sin 9
cos 9 sin 9
. При 6 —► 0 второй соб-
ственный вектор стремится к первому, который является единствен
ным собственным вектором недиагонализуемой матрицы
о г
О 0 •
Замечание 4. Спектральная матрицы
теорема доказана теперь даже для
А =
'О
1
О
1 О" о о =лн, О 1
которая имеет повторяющиеся собственные значения Хх = Х2 = 1, Х3 = — 1. Одним из возможных наборов ортонормированных собственных векторов является
=1
"О" 0 , 1
1
' Г
—1
О
Они помещаются в столбцы унитарной матрицы U, и матрица A = UMJH принимает вид
Но, поскольку X^Xg, первые две проекции (каждая ранга 1) дают проекцию ?! ранга 2 и матрица А принимает вид
О 0 Oj
Здесь имеется целая плоскость собственных векторов, соответствующих X = 1, и векторы хг и х2 можно было выбирать до некоторой степени произвольно. Поэтому х^Р и х2х“ были столь же произвольны и только их сумма, т. е. проекция Pt на всю плоскость, определена единственным образом. Каждая эрмитова матрица с k различными собственными значениями имеет свое собственное «спектральное разложение» вида А = Х1Р1 + .. . + XftPA, где Pt есть проекция на собственное подпространство, соответствующее числу Xf. Поскольку здесь имеется полный набор собственных векторов, эти проекции дают в сумме единичную матрицу. И, поскольку эти собственные пространства ортогональны, применение последовательно двух разных проекций должно давать нуль: PjPi = 0.
приприУпражнение 5.6.7. (а) Найти такую унитарную матрицу U, что U-1AU =Л
при
при
"О 0 О"Л= 0 0 0 ,0 0 3."О 0 О"Л= 0 0 0 ,0 0 3."1 1 Г/1=111 и1 1 1
"О 0 О"
Л= 0 0 0 ,0 0 3.
"О 0 О"
Л= 0 0 0 ,0 0 3.
Затем найти другую пару орто нормированных собственных векторов хъ х2 для Х = 0.
(Ь) Проверить, что матрица Р = xtxV + х2х^ одна и та же для обеих пар.
Упражнение 5.6.8. Доказать в два этапа, что каждая унитарная матрица А диагонализуема:
Если матрицы А и U унитарны, то и матрица Т = U-1AU унитарна.
Верхняя треугольная матрица Т, являющаяся одновременно унитарной, должна быть диагональной.
Отсюда следует, что треугольная матрица Т в теореме есть Л и что любая унитарная матрица (с. различными или кратными собственными значениями) имеет полный набор орто нормированных собственных векторов: U-XAU=X. Все собственные значения удовлетворяют соотношению |Х| = 1.
Мы подошли очень близко к ответу на естественный и важный вопрос, для каких матриц треугольная матрица Т совпадает с диагональной матрицей Л, и легко можем пройти оставшуюся часть пути. Эрмитовы, косоэрмитовы и унитарные матрицы уже попали в этот класс: они соответствуют числам на вещественной оси, на чисто мнимой оси и на единичной окружности. Теперь мы хотим найти весь класс, соответствующий всем комплексным числам.
5R. Матрица N называется нормальной, если она коммутирует с Nu: N NH = NHN. Для таких и только таких матриц треугольная матрица T = U~YNU является диагональной матрицей Л. Нормальные матрицы—это в точности те, которые обладают полным набором ортонормированных собственных векторов.
Отметим, что эрмитовы (или косоэрмитовы) матрицы, безусловно, являются нормальными: если Л = ЛН, то ААН и АНА равняются А2. Унитарные матрицы также являются нормальными, поскольку UUH и U^U равняются единичной матрице. В этих частных случаях мы доказывали, что Т = Л, в два этапа, и эти же два этапа будут участвовать в доказательстве в случае произвольной нормальной матрицы:
Если матрица N нормальная, то такой же оказывается и матрица T = U~2NU:
TTH = U-yNUUHNHU = U-1NNHU = U~1NHNU = = UHNHUU~yNU = THT.
Верхняя треугольная матрица Т, являющаяся нормальной, автоматически должна быть диагональной (упр. 5.6.10). Поэтому если матрица N нормальная, то треугольная матрица U~lNU должна быть диагональной и, поскольку ее собственные значения такие же как и у матрицы N, она должна совпадать с Л. Собственные векторы матрицы N суть столбцы матрицы U, и они ортонормированы. Фактически для матрицы N справедлива та же самая спектральная теорема, что и для эрмитовой матрицы, N = UAU-1 = "^X^iX^. Единственная разница состоит в том, что собственные значения X не обязательно являются вещественными.
Упражнение 5.6.9. Найти нормальную матрицу, которая не является эрмитовой, косоэрмитовой, унитарной или диагональной.
Упражнение 5.6.10. Пусть Т есть треугольная матрица размера 3X3 с элементами 1ц. Сравнить элементы матриц ГТН и ТНТ и показать, что если они равны между собой, то матрица Т должна быть диагональной.
Упражнение 5.6.11. Доказать, что матрица с ортонормированными собственными векторами должна быть нормальной, как утверждалось в 5R: если U^NU=X, то NNH=NHN.
ЖОРДАНОВА ФОРМА
До сих пор в этом параграфе мы старались сделать все что можно с помощью унитарных матриц: требуя, чтобы М была унитарной матрицей U, мы получали матрицу М~ХАМ треугольной формы Т. Теперь мы снимаем это ограничение на матрицу М. Будет допускаться любая матрица, и наша цель состоит в том, чтобы сделать матрицу М-1АМ как можно более близкой к диагональной.
Результатом этого наивысшего усилия в области диагонализации является жорданова форма J. Когда матрица А имеет полный набор независимых собственных векторов, мы полагаем A4 = S и получаем J = S-XAS = А, жорданова форма в этом случае совпадает с диагональной матрицей Л. Для «дефектной» матрицы это невозможно, и за каждый потерянный собственный вектор в жордановой форме будет появляться единица непосредственно над главной диагональю. Собственные значения должны при этом находиться на самой диагонали, поскольку матрица J является треугольной. И различные собственные значения могут быть «разъединены» точно так же, как и в диагональном случае; только при кратном X может потребоваться (а может и не потребоваться) внедиагональный элемент в матрице J.
5S. Если матрица А имеет s независимых собственных векторов, то она подобна матрице вида
Каждая жорданова клетка Jг является треугольной матрицей с единственным собственным значением и единственным соб
ственным вектором:
Одно и то же собственное значение Х{ может появляться в нескольких клетках, если оно соответствует нескольким независимым собственным векторам. Две матрицы являются подобными тогда и только тогда, когда они имеют одну и ту же жорданову форму J.
Многие авторы делают эту теорему кульминационным пунктом своих курсов линейной алгебры. Честно говоря, я считаю это ошибкой. Совершенно справедливо, что не все матрицы можно привести к диагональному виду и что жорданова форма является наиболее общим случаем. Но именно поэтому ее построение оказывается одновременно и технически сложным, и исключительно неустойчивым. (Ничтожное изменение в матрице Л может вернуть все потерянные собственные векторы и убрать внедиагональные единицы.) Поэтому надлежащим местом для обсуждения деталей жордановой формы служит приложение1"), а знакомство с ней лучше всего начать с некоторых характерных и не слишком сложных примеров.
.Мы приведем два таких примера: .
'0 1 2'
'0 0 1"
А =
0 0 1
и S —
ООО
_0 0 0_
_0 0 0_
Поскольку нуль является собственным значением кратности три для обеих матриц, он будет присутствовать в каждой жордановой клетке, т. е. имеется либо одна клетка размера Зх 3, либо клетки размера 2x2 и 1x1, либо три клетки размера 1x1. Поэтому возможными жордановыми формами являются
'0 1 0"
'0 1 О'
'0 0 О'
0 0 1
, J2 =
0 0 0
И j 3 =
0 0 0
О 0 0_
О 0 0_
,0 о 0_
В случае матрицы А единственным собственным вектором будет (1, 0, 0)т. Поэтому ее жорданова форма имеет только одну клетку и в соответствии с основной теоремой 5S матрица А должна быть подобна Jv Матрица В имеет дополнительный собственный вектор (О, 1, 0)т, и поэтому ее жорданова форма есть J4: на диагонали должны быть две клетки. Что же касается J8, то она представляет собой целый класс; единственная матрица, подобная нулевой, есть м-чш = о.
В этих примерах для определения матрицы J было достаточно простого подсчета собственных векторов, и это всегда осуществимо, если мы рассматриваем такие простые примеры. Но в качестве общей теории эта техника не подходит, как показывает последнее из приведенных ниже упражнений.
!) Каждый из авторов пытается эти детали упростить, и мне кажется, что наилучшим является новое доказательство, полученное Филипповым. Оно почти настолько простое, чтобы изменить наше решение и вернуть построение матрицы J в основной текст.
Упражнение 5.6.12. Найти матрицу М, для которой M-1BM = J.
Упражнение 5.6.13. Показать, что никакие две из этих жордановых форм не являются подобными: /i ^ Af-V2.A4, Л Ф М.-Ч3М и J2 ^ M-1JgM. (Использовать отсутствие подходящих Л-1.)
Упражнение 5.6.14. Выписать все возможные жордановы формы для матрицы размера 4x4 с собственным значением кратности четыре. (Общепринято записывать клетки меньшего размера в матрице / ниже клеток большего размера.) В случае двух независимых собственных векторов показать, что для выбора J есть две различные возможности.
ТАБЛИЦА ПРЕОБРАЗОВАНИЙ ПОДОБИЯ
А диагонализуема: столбцы матрицы S являются собственными векторами матрицы А, и матрица S~MS = A диагональная.
А произвольна-, столбцы матрицы М являются собственными векторами и обобщенными собственными векторами матрицы А, и жорданова форма M-1AM = J является клеточно диагональной.
А произвольна и U унитарна: матрица U может быть выбрана таким образом, что U-XAU = Т будет верхней треугольной.
А нормальна, т. е. ААН = АНА: можно выбрать такую матрицу U, что U-YAU — X.
Частные случаи при ортонормированных собственнных векторах:
Если матрица А эрмитова, то Л вещественна.
а'. Если матрица А вещественная и симметрическая, то матрица Л вещественная и U = Q ортогональная.
Если матрица А косоэрмитова, то Л мнима.
Если матрица А унитарна, то вса | X,-1 = 1.
ОБЗОРНЫЕ УПРАЖНЕНИЯ
Найти собственные векторы и собственные значения для
Д=Р °]
2 3
и подобрать такую матрицу 5, чтобы S-1AS была диагональной.
Найти характеристический многочлен det (А — Xi) и собственные значения для матрицы
'0 10 0'
.0 0 10
А =.
0 0 0 1
.1 о о 0_
5.3. Если матрица А собственным векторам5.3. Если матрица А собственным векторамсоответствующиесоответствующиеимеет собственные значения 0 и 1,
5.3. Если матрица А собственным векторам
5.3. Если матрица А собственным векторам
соответствующие
соответствующие
ГИ21
то можно ли заранее предсказать, что матрица А является симметрической? Чему равна сама А? Чему равны ее след и определитель?
Каковы будут собственные значения и собственные векторы матрицы Л 2 из предыдущего упражнения? Как связаны между собой матрицы Л2 и Л?
Существует ли такая матрица Л, что все семейство матриц Л-J-c/обратимо для любых чисел с?
5.6. Найти матрицу Л9, если5.6. Найти матрицу Л9, если1 О1 О
5.6. Найти матрицу Л9, если
5.6. Найти матрицу Л9, если
1 О
1 О
2 1
Предпочитаете ли вы, чтобы при ежедневном начислении процентов вам платили 5% в первые три года и 6% в последующие три, или наоборот?
Решить систему
3 1
1 3
Найти все квадратные корни из предыдущей матрицы А.
Верны или неверны следующие утверждения (привести контрпример в последнем случае):
Если матрица В образована из А путем перестановки двух строк, то В подобна А.
Если верхняя треугольная матрица подобна диагональной матрице, то она уже диагональна.
Любые два из следующих утверждений влекут за собой третье: А эрмитова, А унитарна, Л2 = /.
Если матрицы Л и 5 диагонализуемы, то и Л-|-В диагонализуема.
Найти ортогональную матрицу Q и диагональную матрицу Л, такие, что QT AQ=A, если
0110111 0
0
1
1
0
1
1
А =А =0 1
А =
А =
0 1
5.13. Разложить матрицу5.13. Разложить матрицуГ1 пLo оГ1 пLo о
5.13. Разложить матрицу
5.13. Разложить матрицу
Г1 п
Lo о
Г1 п
Lo о
на А-\-К, где Л = ЛН и К =—Кн.
Выписать матрицу размера 3x3, у которой суммы элементов в строках равны 1, и показать, что число Х=1 является ее собственным значением. Чему равен соответствующий собственный вектор?
Что произойдет с последовательностью чисел Фибоначчи, если изменить направление времени на противоположное, и как число F_j, связано с F^? Правило Fa+2 = ^A+i + Fk остается в силе, так что F_i=l.
Глава 6
ПОЛОЖИТЕЛЬНО ОПРЕДЕЛЕННЫЕМАТРИЦЫ
§ 6.1. МАКСИМУМЫ, МИНИМУМЫ И СЕДЛОВЫЕ ТОЧКИ
До сих пор нас не интересовали знаки собственных значений. Действительно, было бы преждевременно спрашивать, положительно X или отрицательно, пока не станет известно, вещественно ли оно. Но в гл. 5 было отмечено, что наиболее важные матрицы— симметрические матрицы в вещественном случае и эрмитовы матрицы в комплексном случае — имеют вещественные собственные значения. Следовательно, имеет смысл выяснить, положительны ли они, и одна из наших последующих целей — найти критерий, с помощью которого по самой симметрической матрице Л, не вычисляя ее собственных значений, можно заранее установить, что все ее собственные значения положительны.
Прежде чем заняться поисками такого критерия, рассмотрим задачу, в которой знаки собственных значений важны. Здесь совсем другое положение, чем при исследовании устойчивости в теории дифференциальных уравнений, где были нужны отрицательные собственные значения, а не положительные. (Нам не следовало бы так мимоходом говорить об этом, но все же: если для —А выполняется критерий, который мы ищем, то уравнение du/dt = Au имеет затухающее решение емх для каждого собственного значения X < 0, а уравнение d2u/d/2 = Ли имеет чисто осциллирующее решение et6s*x с со=1Л—X.) Эта новая задача возникает во многих приложениях, и мы надеемся, что читатель имеет о ней представление. Поэтому мы начинаем непосредственно с ее математической постановки. Это задача отыскания минимума, и мы сформулируем ее с помощью двух примеров:
Г(х, у) = 7 + 2(х + уУ—У5'ту—х3+У1 и
Цх, у) = 2х* + 4ху + у2-
Имеет ли хотя бы одна из этих функций минимум в точке х = у = №
Замечание 1. Члены нулевого порядка F (0, 0) = 7 и / (0, 0) = 0 не влияют на ответ. Их изменение соответствует простому сдвигу вверх или вниз графиков функций F и /.
Замечание 2. Линейные члены дают необходимое условие; чтобы данная точка могла быть точкой минимума, она должна быть стационарной. Для этого первые производные должны обращаться в нуль при х = у = 0, что и происходит:
лк
^ = 4(х + у) — Зх2 = 0,
6F
— = 4(х + у)—ycosy—siny + 4y3 = 0,
^ = 4x + 4y = 0 и ^ = 4x + 2y = 0.
Таким образом, выбранная точка является стационарной для обеих функций F и /. Геометрическая поверхность г = F (х, у) касается горизонтальной плоскости г = 7, а поверхность z = (x, у) касается плоскости г—0. Вопрос о том, лежат ли графики функций F и / над этими плоскостями, когда мы удаляемся от точки касания х —у = 0.
Замечание 3. Квадратичные члены или, другими словами, вторые производные являются решающими'.
^ = 4-6х = 4^-4
дх ду дудх *дх ду ду дх’
^- = 4+ysiny—2cosy+12у2 = 2, ^ = 2.
Эти производные уже содержат ответ на интересующий нас вопрос, и поскольку они одинаковы у обеих функций, то ответ должен быть один и тот же. Таким образом, эти две функции ведут себя вблизи начала координат одинаково, поэтому функция F имеет в начале координат минимум тогда и только тогда, когда в этой точке имеет минимум функция f.
Замечание 4. Члены более высокого порядка в Г не оказывают влияния на вопрос о локальном минимуме, но они могут помешать существованию в этой точке глобального минимума. Наш пример—это именно такой случай: из-за члена —х3 функция F с какого-то момента устремится к —оо независимо от того, что происходит вблизи точки х = у= 0. Подобная ситуация невозможна для функции f или для любой другой квадратичной формы, которая не имеет членов высшего порядка. Каждая квадратичная
форма / = ах2 + 2Ьху + а/ имеет стационарную точку в начале координат, где df/dx = df/dy = 0, и если она имеет локальный минимум при х = у = 0, то эта точка является также точкой глобального минимума. Поверхность z = f(x, у) будет по форме похожа на чашу, покоящуюся на одной точке в начале координат.
Подведем итог. Вопрос локального минимума для F эквивалентен такому же вопросу для /. Если бы стационарной точкой функции F оказалась точка х = а, у = 0, а не х = у = 0, то единственным отличием было бы использование вторых производных в точке а, 0:
у2/)2/7 Л2Г ..2 Л2Г
Тогда / ведет себя вблизи точки (0, 0) так же, как F ведет себя вблизи точки (а, 0).
Один случай пока надо исключить из рассмотрения. Он соответствует возможности F" = 0, которая создает большие затруднения даже для функции одного переменного. Тогда в рассмотрение вводятся третьи производные, так как вторые производные не дают определенного решения. Чтобы избежать этих трудностей, обычно требуют, чтобы квадратичная часть была невырожденной, т. е. для настоящего минимума допускается обращение / в нуль только при х = у = 0. Квадратичная форма, которая строго положительна во всех других точках, называется положительно определенной.
Проблема теперь сводится к следующему: что является для функции от двух переменных х и у корректной заменой условия F" > 0? В случае одной переменной знака второй производной достаточно, чтобы сделать выбор между минимумом или максимумом. Но сейчас мы имеем три производные: Fxx, FXy = F и F у. Эти три члена точно определяют функцию /, и они должны определять, имеет ли F (так же как /) минимум. Каковы же условия на а, b и с, которые будут обеспечивать положительную определенность f = ax2 + 2bxy + су2?
Легко найти одно необходимое условие:
Если f положительно определена, то обязательно а> 0.
Мы просто рассматриваем точку х=1, у = 0, где ах2 + 2Ьху + + су2 равно а; значение / должно быть положительно, если / положительно определена. Применительно к функции F это означает, что д2Е/дх2 > 0, поскольку, фиксируя значение у = 0 и изменяя только х, для минимума мы должны иметь F" > 0. Аналогично, если мы фиксируем х = 0 и изменяем только у, возникает условие на коэффициент с;
Если f положительно определена, то обязательно с>0.
Не так легко решить, являются ли условия (i) и (ii), взятые вместе, достаточными для положительной определенности формы /? Есть ли необходимость рассмотрения смешанной производной, равной коэффициенту №
Пример. / = х2—10ху + у2. В этом случае величины а=1 и с=1 одновременно положительны. Выберем точку х = у=1. Так как /(1, 1) =—8, то форма / не положительно определена. Условия а > 0 и с > 0 обеспечивают здесь возрастание f по направлениям х и у, но она может еще, убывать вдоль какой-нибудь другой прямой. В данном случае это прямая х = у. Коэффициент b может подавлять а и с. В действительности невозможно установить положительную определенность, просматривая / вдоль какого-либо конечного числа фиксированных прямых.
Очевидно, что решение вопроса зависит от 6. Для первоначальной функции / коэффициент b был положителен. Достаточно ли этого, чтобы обеспечить минимум? Ответ опять отрицателен: знак b не играет роли. Несмотря на положительность всех коэффициентов наша исходная форма 2х2 + 4ху + у2 не является положительно определенной, и ни F, ни f не имеют минимума, так как вдоль прямой х =—у мы имеем /(1, —1) = 2—4 + 1 = —1.
Таким образом, для того чтобы.форма f была положительно определенной, нужно контролировать величину b (в зависимости от а и с). Сейчас мы хотим найти точный критерий, дающий необходимое и достаточное условие для положительной определенности. Простейший способ—привести f к «полному квадрату»:
/ = пх2 + 2Ьху + су2 = а (х +^ У^ -Цс—^Уг. (2) Очевидно, что первый член справа положителен, так как он является полным квадратом, умноженным на положительный коэффициент а—необходимое условие (1) все еще в силе. Первый квадрат, однако, когда х — Ь и у = --а, обращается в нуль, и в этой точке мы имеем ЦЬ, —а) = а(ас—Ь2). Следовательно, требуется новое необходимое условие.
Если f положительно определена, то обязательно ас>Ь2. Заметьте, что условия (i) и (iii), взятые вместе, автоматически приводят к условию (ii): если а > 0 и ас > Ь2 ^ 0, то обязательно с > 0. При этом правая часть (2), безусловно, будет положительной, и мы получаем, наконец, ответ на наш вопрос.
6А. Квадратичная форма f = ах2 -V 2Ьху + су2 положительно определена тогда и только тогда, когда а>0 и ас—Ь2 > 0. Соответственно F имеет (строгий) минимум при х = у — 0 тогда и только тогда, когда
g+.0)>0, [^(0.0)] [^(0,0)] <«]’.
Отсюда легко получаются условия для максимума, так как f имеет максимум всякий раз, когда—/ имеет минимум. Этот способ обращает знаки а, b и с на противоположные и оставляет второе условие ас—Ь2 > 0 неизменным: квадратичная форма отрицательно определена тогда и только тогда, когда а < 0 и ас — Ь2 > 0. Те же самые изменения применимы для F.
Квадратичная форма вырождена, когда ас—Ь2 = 0. Этот случай мы пока не рассматривали. Второй член в (2) должен исчезнуть, оставив только один квадрат 1 = а(х-ЦЬ/а')уУ, который либо положительно полуопределен, когда а > 0, либо отрицательно полуопределен, когда а < 0. Приставка «полу» допускает возможность обращения / в нуль, как это происходит, например, в точке х = Ь, у =—а. Геометрически это означает, что поверхность г = /(х, у) вырождается из «чаши» в бесконечно длинный «желоб». (Если говорить о поверхности г = хг в трехмерном пространстве, то этот желоб тянется вдоль оси у, и каждое поперечное сечение будет той же самой параболой z = x2.) Еще более вырожденную квадратичную форму дают условия а = = Ь = с = О, она является как положительно полуопределенной, так и отрицательно полуопределенной. Чаша становится совершенно плоской.
В случае одного измерения все возможности для функции F (х) сейчас были бы исчерпаны: либо F имеет минимум, либо она имеет максимум, либо F" = 0. При двух переменных, однако, остается еще одна очень важная возможность, так как величина ас—b1 может быть отрицательной. Это имело место в нашем примере, когда величина b доминировала над а и с и соответственно / на одних направлениях была положительна, а на других отрицательна. Такая же ситуация возникает даже независимо от Ь, если а и с имеют противоположные знаки. Направления осей х и у дают противоположные результаты — на одной оси / возрастает, на другой убывает. Здесь полезно рассмотреть два частных случая:
Л = 2ху и /2 = х2—у2.
В первом из них b доминирует (при а = с=0); во втором величины а и с имеют противоположные знаки. В обоих случаях ас — Ь2 — — 1.
Это неопределенные квадратичные формы, потому что они могут принимать значения любого знака, т. е. в зависимости от х и у возможно как / > 0, так и / < 0. Таким образом, мы имеем стационарную точку, которая не является ни точкой максимума, ни точкой минимума. Она носит название седловой точки. (По названию вы уже можете предположить, что поверхность z = / (х, у), скажем г = х2—у2, имеет форму, подобную седлу: она спускается вниз вдоль оси у и поднимается вверх вдоль оси х.)
Вы можете представить себе дорогу, идущую в горах, где вершина перевала является минимумом, если смотреть вдоль цепи гор, и в то же время является максимумом, если _смотреть на нее вдоль дороги (рис. 6.1).
Рис. 6.1 Седло f = 2хц и его линии уровня.Рис. 6.1 Седло f = 2хц и его линии уровня.
Рис. 6.1 Седло f = 2хц и его линии уровня.
Рис. 6.1 Седло f = 2хц и его линии уровня.
Седла 2ху и х2—у2 практически одинаковы. Если мы повернем одно из них на угол 45°, то мы получим другое. Заметим также, что их почти невозможно нарисовать.
Упражнение 6.1.1. Показать, что исходная квадратичная форма / = 2х3 + -р 4xp+ У1 имеет седловую точку в начале координат, несмотря на положительность ее коэффициентов. Показать, как можно записать / в виде разности двух полных квадратов.
Чтобы установить условия минимума Fxx > 0 и FxxFyy > Fxy, достаточно вычислений. Однако линейная алгебра позволит сделать больше, если мы поймем, как можно из коэффициентов формы / составить симметрическую матрицу А. Если коэффициенты членов ах2 и су2 поставить в матрице на диагональ, а коэффициент члена 2Ьху расщепить на наддиагональный и поддиагональный элементы, то форма / будет тождественно равна такому произве-
дению матриц:
Ь1 Гх d \у .Ь1 Гх d \у .(3)(3)ах2 + 2Ьху + су2 = [х у На b
Ь1 Гх d \у .
Ь1 Гх d \у .
(3)
(3)
Это равенство является ключом ко всей главе. Его можно переписать в виде f = xIAx и сразу обобщить на общий л-мерный случай. Такая сокращенная форма записи очень удобна для изучения проблемы максимума и минимума. В случае п независимых переменных хп ..., хп (вместо переменных х и у в двумерном случае) они составляют просто вектор-столбец х. Тогда для лю-
бой симметрической матрицы А произведение f = x^Ax определяет чистую квадратичную форму. Она имеет стационарную точку в начале координат и не содержит членов более высокого порядка:
хТАх = [х3 хг. . .х„]гаи а12. . . а1„_'ГХ1_1 = ■
^a^ + aiAx.+a^x, + ... +(Vn =
= 22 аих;х,.(4)
i= 1 j= 1
Заданную функцию F (xv ..., x^, имеющую стационарную точку в начале координат (все первые ее производные равны нулю), мы будем исследовать на минимум, максимум или седловую точку, строя «матрицу Гессе» А, элементами которой являются вторые производные, т. е. aif = diF^dxidxj. Она автоматически будет симметрической матрицей, поскольку члены а12хгхг и G2ix2Xi равны между собой (это соответствует расщеплению 2Ьху в двумерном случае). При этом функция имеет минимум в начале координат, когда f положительно определена, или, иначе говоря, когда матрица А положительно определена, т. е.
х^Ах > 0 для всех ненулевых векторов х. (5)
Упражнение 6.1.2. Исследовать следующие матрицы на положительную определенность и выписать соответствующие функции /:
(а) А =
"1 3”
.3 5.
,(Ь) А =
~ 1 —1
.-1 1
Г1 о СПГ 2 —10*1
(с) А = 0 1 О I (d) Л= —12 ~1
Lo О -1JL 0 -12J
В случае (d) записать хТАх в виде суммы трех квадратов. В случае (Ь) показать, что вырожденная матрица соответствует вырожденной квадратичной форме (оба факта являются следствием обращения в нуль величины ас—Ь2, равной определителю А). Установить, вдоль какой прямой / тождественно равна нулю.
Упражнение 6.1.3. Для положительно определенной функции / кривая f (х, у) — 1 является эллипсом (эта кривая — сечение чаши г = f (х, у) плоскостью z=l). Изобразить этот эллипс для случая а = с = 2, Ь = — 1.
Упражнение 6.1.4. Исследовать на минимум, максимум или седловую точку функции
F =—14-4(бж — х) — 5х sin уЦ- бу2 в точке х = у = 0,
F = (№—2x)cosy в стационарной точке х=1, у = л.
§ 6.2. КРИТЕРИИ ПОЛОЖИТЕЛЬНОЙ ОПРЕДЕЛЕННОСТИ
а b b са b b сКакие симметрические матрицы обладают свойством хтЛх>0 для всех ненулевых векторов х? Существует четыре или пять различных способов ответить на этот вопрос, и мы надеемся найти все их. Предыдущий параграф был начат с некоторых соображений относительно знаков собственных значений, но дальнейшая дискуссия была отложена. Вопрос о собственных значениях уступил место двум условиям на элементы матрицы: если Л =
а b b с
а b b с
то для положительной определенности необходимы и достаточны условия а > 0, ас—Ь2 > 0. Наша цель сейчас—обобщить эти условия на матрицы порядка п и найти их связь со знаками собственных значений. По крайней мере в случае матрицы порядка 2 сформулированные условия означают, что оба ее собственных значения положительны. Действительно, их произведение равно определителю ас—Ь2 > 0, и, следовательно, оба собственных значения либо положительны, либо отрицательны. Но так как их сумма равна следу «4-с>0 матрицы Л, то оба собственных значения будут обязательно положительными.
Интересно, как эти два подхода, один из которых связан с непосредственными вычислениями, а другой использует внутренние свойства матриц (их собственные значения), отражают две части настоящей книги, о которых уже говорилось выше. Если более внимательно посмотреть на первый критерий, то нетрудно заметить, что в нем фигурируют ведущие элементы матрицы. Действительно, если представить / в виде суммы квадратов
ах2 + 2Ьху 4-су2 = а ^х +~ уУ + ^^ У1,
то коэффициенты а и (ас— Ь2)/а в точности являются ведущими элементами матрицы А порядка 2. Если эта зависимость сохраняется для матриц большего порядка, то мы получим очень простой критерий положительной определенности матрицы, основанный на определении знаков ведущих элементов. Этот критерий имеет очень простую интерпретацию: форма хтЛх положительно определена тогда и только тогда, когда она представима в виде суммы п независимых квадратов.
Еще одно предварительное замечание. Как уже отмечалось, обе части книги объединяет теория определителей, и, следовательно, возникает вопрос, какую роль в положительной определенности матриц играют определители. Очевидно, что условия det А > 0 недостаточно для положительной определенности матрицы А, так как при а = с=-—1 и b = 0 мы приходим к матрице А=—/, которая является отрицательно определенной. Оказывается, что выполнение рассматриваемого критерия (через опре-
делители) нужно требовать не только от матрицы А (в данном случае ас—№ > 0), но также от ее подматрицы а порядка один, стоящей в левом верхнем углу. Естественным обобщением сказанного на n-мерный случай будет выполнение этих условий для всех п левых верхних подматриц
Сформулируем и дадим детальное доказательство следующей основной теоремы.
Каждый из перечисленных ниже критериев является необходимым и достаточным условием положительной определенности матрицы А:
х^Ах > 0 для всех ненулевых векторов х.
Все собственные значениях, матрицы А положительны.
Определители всех подматриц Ак положительны.
Все ведущие элементы d, (без перестановок строк) положительны.
Доказательство. Критерий I является определением положительно определенной матрицы, и в качестве первого шага мы покажем его эквивалентность критерию II.Для этого сначала мы предположим, что выполняется критерий I, и установим положительность каждого собственного значения Х; матрицы А. Пусть х, нормированный, т. е. xjxz = 1, собственный вектор А, соответствующий ее собственному значению %z. Тогда
Ахг = Х,хг и xJAx, = x]X;Xj = X,,
поскольку х]х, = 1. Так как, согласно критерию I, хТАх положительно для всех х и в том числе для х = хг, то величина х?Ахг = Хг также должна быть положительной и, следовательно, собственные значения положительно определенной матрицы положительны.
Теперь, предполагая, что все X, > 0, покажем, что х^Ах > 0 (это будет показано для произвольного ненулевого вектора х, а не только для собственного вектора). Поскольку симметрическая матрица обладает полным набором ортонормированных собственных векторов (см. стр. 272), то любой вектор х может быть представлен в виде линейной комбинации сгхх + ... + спхП. Отсюда имеем
Ах = щАх, -К ... + с„Лх„ = схХгхх + ... + с„Х„х„
(6)(6)и в силу условия ортонормированности системы xz хТАх = \с 1х! + .. • А-сХ) (с^х, + ... + с„Х„х„) = = С1Х1 + ... +c„Xn.
(6)
(6)
Если каждое X, > 0 и не все с{ равны нулю, то хтАх > 0. Таким образом, выполнение критерия II обеспечивает выполнение критерия I.
Эквивалентность критериев III и IV критерию I докажем в три этапа.
Сначала докажем, что из выполнения критерия I следует выполнение критерия III. С этой целью отметим, что определитель любой матрицы равен произведению ее собственных значений. Поэтому если выполнен критерий I и, следовательно, известно, что все собственные значения Xz положительны, то
&AA=KV--'kn>S-
Чтобы установить этот же результат для всех подматриц Лй, покажем, что из положительной определенности А следует положительная определенность всех Ак. Для этого рассмотрим все векторы х, последние п —k компонент которых равны нулю,Чтобы установить этот же результат для всех подматриц Лй, покажем, что из положительной определенности А следует положительная определенность всех Ак. Для этого рассмотрим все векторы х, последние п —k компонент которых равны нулю,т.т.е. векторы вида х =е. векторы вида х =хк0хк0. Тогда. ТогдахТАх = [хк 0] ГЛД *хТАх = [хк 0] ГЛД *хк —ХкАкХ10хк —ХкАкХ10к'к'
Чтобы установить этот же результат для всех подматриц Лй, покажем, что из положительной определенности А следует положительная определенность всех Ак. Для этого рассмотрим все векторы х, последние п —k компонент которых равны нулю,
Чтобы установить этот же результат для всех подматриц Лй, покажем, что из положительной определенности А следует положительная определенность всех Ак. Для этого рассмотрим все векторы х, последние п —k компонент которых равны нулю,
т.
т.
е. векторы вида х =
е. векторы вида х =
хк
0
хк
0
. Тогда
. Тогда
хТАх = [хк 0] ГЛД *
хТАх = [хк 0] ГЛД *
хк —ХкАкХ1
0
хк —ХкАкХ1
0
к'
к'
и, следовательно, если хтАх > 0 для всех ненулевых х, то, в частности, хкАкхк>0 для всех ненулевых хк. Итак, критерий I выполнен для Ак, так что к матрицам Ак применимы те же соображения, что мы применяли к самой матрице А. В частности, их собственные значения (которые не совпадают с Xz!) и определители, которые являются произведениями соответствующих собственных значений, должны быть положительны.
Теперь покажем, что из критерия III следует критерий IV. Это устанавливается очень легко, поскольку между определителями подматриц Ак и ведущими элементами имеется прямая связь. Согласно стр. 205, ^-й ведущий элемент dk является в точности отношением бе!Лй к йе1ЛА_х. Таким образом, если все определители положительны, то все ведущие элементы также положительны и, следовательно, положительно определенные матрицы ни в каких перестановках строк не нуждаются.
В заключение докажем, что из критерия IV следует критерий I. Иначе говоря, мы должны показать, что из положительности ведущих элементов следует неравенство хТАх > 0. Для матриц порядка два мы делали это путем представления формы
ах2 + 2Ьху + су1 в виде суммы квадратов. Чтобы установить подобный факт для матриц любого порядка, необходим следующий важный факт: в методе исключения Гаусса для симметрической матрицы верхняя треугольная матрица U равна, транспонированной к нижней треугольной матрице L (стр. 55) и, следовательно, разложение A — LDU переходит в разложение A = LDLT
Пример
Г 2Г 2А = -1А = -1ОО—1 О'2 —1— 12—1 О'2 —1— 122О2ОО12зО12з
Г 2
Г 2
А = -1
А = -1
О
О
—1 О'
2 —1
— 12
—1 О'
2 —1
— 12
2
О
2
О
О
1
2з
О
1
2з
= LDLT.
Умножая эти выраженияУмножая эти выраженияходим к сумме квадратов,ходим к сумме квадратов,слева на хт, а справа на х, мы при- в которой коэффициентами являютсяслева на хт, а справа на х, мы при- в которой коэффициентами являютсяведущие элементы:ведущие элементы:х!Ах = [и v да]Г jх!Ах = [и v да]Г j
Умножая эти выражения
Умножая эти выражения
ходим к сумме квадратов,
ходим к сумме квадратов,
слева на хт, а справа на х, мы при- в которой коэффициентами являются
слева на хт, а справа на х, мы при- в которой коэффициентами являются
ведущие элементы:
ведущие элементы:
х!Ах = [и v да]Г j
х!Ах = [и v да]Г j
Положительные ведущие элементы обеспечивают положительность выражения хТАх. Таким образом, критерий I следует из критерия IV, что завершает последний этап доказательства теоремы1). Аналогичная теорема справедлива и в комплексном случае для эрмитовых матриц А — Ан.
Было бы ошибкой, если бы от критерия III осталось впечатление, что здесь чрезвычайно важно рассматривать именно верхние подматрицы Ак. В равной степени мы могли бы проверить определители нижних правых подматриц. Или мы могли бы использовать любую цепочку главных подматриц, начиная с произвольного диагонального элемента аИ в качестве первой подматрицы, и добавляя каждый раз необходимые элементы из новой строки и нового столбца с одинаковыми номерами. В частности.
*) Доказательство последнего этапа было проведено лишь для конкретного примера, полное доказательство будет дано чуть дальше посредством цепочки IV=>V=>I. -
положительность элементов аи, которые являются коэффициентами при х”, является необходимым условием положительной определенности матрицы А. Однако, как это видно из примеров, это условие далеко не является достаточным.
Ведущие элементы d{ ни в коем случае нельзя путать с собственными значениями %z. Для типичной положительно определенной матрицы это два совершенно различных множества положительных чисел. В последнем примере матрицы порядка 3 наиболее простым, по-видимому, является критерий, использующий определители (критерий III):
detД1 = 2, detДa = 3, det As = det А = 4.
Для больших матриц гораздо проще следить за ведущими элементами в методе исключения, который в рассматриваемом примере дает dt = 2, da = 3j2, d3=4/3. Обычно критерий, использующий собственные значения, наиболее трудоемкий, но для нашего примера мы знаем, что они положительны:
^ = 2-/2", Ха = 2, Х3 = 2 + 1/Т.
Заметим, что, хотя последний критерий является самым тяжелым в применении к конкретной матрице А, он является наиболее удобным для теоретических целей.
Упражнение 6.2.1. Исследовать на положительную определенность матрицы
-2 —1 — 1-
-1 0 1-
-1 1 1-
А =
-1 2 —1
, в =
0 1 0
, с =
1 2 2
1 —1 2.
.1 0 1.
_1 2 3-
Используя разложение B=LDL\ записать выражение хТВх = иг-\-о1 + + to1+2uu> в виде суммы квадратов.
Упражнение 6.2.2. Построить матрицу, наибольшие элементы которой лежат на главной диагонали (например, вида
г 1 аг 1 аЛ = а 1Л = а 1Ра1.Ра1.
г 1 а
г 1 а
Л = а 1
Л = а 1
Р
а
1.
Р
а
1.
с |а| < 1, | р| < 1) и которая не является даже положительно полуопреде- ленной. (Вычислить det А.)
Упражнение 6.2.3. Показать, что из положительной определенности матрицы А следует положительная определенность матриц А2 и Л-1.
Упражнение 6.2.4. Показать, что из положительной определенности матриц Лив следует положительная определенность матрицы А-^В. Какой из критериев 1—IV здесь наиболее удобен?
Я надеюсь, вы мне позволите привести еще один критерий положительной определенности. Мы уже подошли к нему очень близко, он позволяет даже лучше понять приведенные ранее критерии:
6 С. Матрица Л положительно определена тогда и только тогда, когда
существует такая невырожденная матрица W, что Л = IFTr.
Из этого нового условия следует, что
x^x = xTIVTIVx = ||IVx||a. (7)
Эта величина либо положительна, либо по крайней мере неотрицательна в зависимости от того, возможно или нет равенство IVx = 0 для ненулевого вектора х. Но поскольку матрица W невырожденная, то оно возможно только для х = 0 и, следовательно, из критерия V вытекает выполнение критерия I из 6В. Все это очень похоже на метод наименьших квадратов с матрицей весов на стр. 178; наиболее общая мера длины—это ||IVxj[ и квадрат этой длины вводит положительно определенную матрицу A = WTW.
Остается показать, что если матрица Л удовлетворяет условиям I — IV, то она также будет удовлетворять условию V. Для этого нам нужно построить матрицу IV, что в действительности дважды мы уже почти сделали.
На завершающем этапе основной теоремы для матрицы Л было построено разложение LDI?. Так как ведущие элементы матрицы Л положительны, то выбирая в качестве VT5 диагональную матрицу, диагональными элементами которой являются квадратные корни из соответствующих ведущих элементов, мы приходим к разложению Л = L V*D V D L? 1). Таким образом, одним из возможных выборов IV является верхняя треугольная матрица V~D LT. Это доказывает, что условие I является следствием условия IV.
Рассмотрим еще один способ, который дает другую матрицу IV, используя вместо IV условие II. Так как собственные значения матрицы А положительны и ее собственные векторы
!) Это так называемое разложение Холецкого, когда ведущие элементы равномерно распределяются между нижним треугольным и верхним треугольным сомножителями. Оно почти не отличается от разложения A = LDL,\ и я обычно избегаю вычисления этих квадратных корней.
образуют ортогональную матрицу Q, которая диагонализует А, то справедливы разложения
А = QAQT = Q /А j/AQT = (/A QTV (VAQtY
Теперь для W имеем другое представление pzAQT> которое психологи используют в анализе основных компонент.
Упражнение 6.2.5. Построить двумя указанными способами матрицы № для матрицы
Упражнение 6.2.6. Вычислить квадратный корень R=Q^XQ для матрицы А из предыдущего упражнения. Проверить непосредственно и из ее формулы, что R симметрическая и R2 = A. Собственные значения матрицы R являются положительными квадратными корнями ]/"л(-, поэтому нетрудно показать, что R является единственным симметрическим и положительно определенным квадратным корнем из А. Заметим также, что R является еще одной из возможных матриц ИЛ
Упражнение 6.2.7. Доказать, что если матрица А положительно определена и матрица С невырожденная, то матрица В = СТАС положительно определена.
Упражнение 6.2.8. Мы можем назвать несимметрическую матрицу А «положительно определенной», если ее эрмитова часть (Лн-|-Л)/2 является положительно определенной матрицей. Для такой матрицы, несмотря на то что величина х Ах может быть комплексной, ее вещественная часть — (хИАх -фхнЛнх) будет положительной.
Показать, что для такой матрицы вещественная часть каждого ее собственного значения положительна. (Указание: рассмотреть вещественную часть скалярного произведения векторов Лх = (а4-10)х и хн.)
На примере треугольной матрицы А порядка два показать, что ее собственные числа могут быть положительны, в то время как матрица Дн + Л не является положительно определенной. (В теореме устойчивости 5К для уравнения и' = Аи из отрицательной определенности АН4~А следовало убывание решения в каждый момент времени, но уравнение могло быть устойчивым и без этого условия.)
ажнение 6.2.9. Выписать условия отрицательной определенности матрицы А, обратив особое внимание на условие III, где нужно установить связь между det (—Л) и det Л. '
П-МЕРНЫЕ ЭЛЛИПСОИДЫ
Уравнение хтАх=1 является ключевым для понимания геометрической интерпретации свойства положительной определенности. Вектор х, удовлетворяющий этому уравнению, лежит на поверхности в n-мерном пространстве, которая, как мы покажем, является эллипсом, или, более точно, n-мерным эллипсоидом с центром в начале координат. .
Пример. Пусть А =Пример. Пусть А =Тогда для анализаТогда для анализа
Пример. Пусть А =
Пример. Пусть А =
Тогда для анализа
Тогда для анализа
уравнения хТАх = 2и2—2ии4-2и2=1 лучше всего переписать его в виде суммы квадратов с собственными значениями Х2 = 3 и %! = 1 матрицы А в качестве коэффициентов:
2и2 — 2uy + 2v2=l (4= V^22и2 — 2uy + 2v2=l (4= V^2V) \ 27т) + 3V) \ 27т) + 3У=1. (8)У=1. (8)
2и2 — 2uy + 2v2=l (4= V^2
2и2 — 2uy + 2v2=l (4= V^2
V) \ 2
7т) + 3
V) \ 2
7т) + 3
У=1. (8)
У=1. (8)
Обозначим выражения в скобках через юнг соответственно. Тогда графиком уравнения ay2 + 3z2=l будет обычный эллипс. Концом его длинной оси будет точка w= 1, г = 0, а концом короткой—точка ф = 0, г= 1/]/3~. Иначе говоря, половина длины большей из осей равна \(У4, а половина длины меньшей из осей равна 1IV4 (рис. 6.2). Кроме того, направления этих осей сов
падают с направлениями соответствующих собственных векторов х1 = (1/К2", 1/|/Т) и х4 = (11У~2", —l/j/"2). Таким образом, геометрия положительной определенности полностью связана с собственными числами и векторами матрицы А.
Если понятно, что было проделано с уравнением (8), то то же самое мы можем осуществить для любой поверхности хтДх=1. Основным шагом всегда является диагонализация матрицы А с помощью. ортогональной матрицы Q, столбцами которой являются единичные собственные векторы Ху матрицы A: QTAQ = A
или A = QAQT. Это приводит к записи хтАх в виде суммы квадратов:
= X, (х?х)8+ ... 4-Х„ (xjx)2.
В новых переменных y^XiX, . ..,уп = х^х, что соответствует замене переменных по формуле y = Q*x, уравнение рассматриваемой поверхности принимает вид
хТАх = \у[ + ... + К& = 1 • (9)
Это общий случай, частным примером которого является уравнение (8). Но даже в этом общем случае легко видеть, что точка с координатами у, = 1/)/%!, у2= ... =уп = 0 лежит на поверхности. Она лежит на конце наибольшей из осей и, следовательно, расположена дальше всех от начала координат. Более того, соответствующий вектор х является кратным первого собственного вектора, или, точнее, x = x1IVki. На рис. 6.2 эта точка обозначена буквой Р. Ближайшая к началу координат точка лежит на конце наименьшей из осей и имеет координаты уг = ... = yn_t=0, у„=11^кп. Эта точка, обозначенная на рис. 6.2 буквой Р', лежит на прямой, задаваемой последним собственным вектором х„. Остальные промежуточные оси задаются соответствующими промежуточными собственными векторами матрицы А.
6D. Предположим, что матрица А положительно определена и ее единичные собственные векторы являются столбцами ортогональной матрицы Q. Тогда А = QAQ1, и преобразование y = QTx позволяет записать выражение х^Ах в виде суммы квадратов:
хТАх = xTQAQTx = уТАу = Х^ + ... + KuV (10) При этом уравнение хчАх = 1 описывает эллипсоид, конец j-u оси которого находится в точке с координатами yv ...,уп, где у} определяется условием ’к,уг1=\, а остальные у, равны нулю Ц= 1, ..., и). Эти точки лежат на прямых, задаваемых собственными векторами матрицы А, и половина длины соответствующей оси равна 1/КХу.
Упражнение 6.2.10. Эллипс и2 + 4и2 = 1 соответствует матрице Д= .
Выписать собственные значения и векторы матрицы А и нарисовать этот эллипс.
Упражнение 6.2.11. Преобразовать уравнение Зи2—2^2’«и+2п2=1 к сумме квадратов, вычислив собственные значения и векторы соответствующей матрицы А. Нарисовать эллипс, задаваемый полученным уравнением.
Упражнение 6.2.12. Уравнение Х1г/1+Х2у2 + ^зУз = 1 стремя переменными задает эллипсоид, когда все к, > 0. Описать все возможные виды поверхностей в положительно полуопределенном случае, т. е. когда одно или несколько собственных значений равны нулю.
ПОЛУОПРЕДЕЛЕННЫЕ
И НЕОПРЕДЕЛЕННЫЕ МАТРИЦЫ.
ОБОБЩЕННАЯ ЗАДАЧА
НА СОБСТВЕННЫЕ ЗНАЧЕНИЯ Ах = ХВх
Основной задачей этого раздела (после того как критерии положительной определенности полностью установлены) является более широкое рассмотрение проблемы определенности матриц. Под этим мы понимаем три основные задачи:
критерии положительной полуопределенности матриц,
связь между собственными значениями и ведущими элементами любой симметрической матрицы независимо от того, является она определенной или не является,
обобщенная задача на собственные значения Ах = ХВх.
На первый вопрос мы можем дать быстрый и четкий ответ, поскольку вся необходимая для этого работа уже проделана. Второй и третий вопросы связаны с так называемым «законом инерции» для симметрических матриц, который с математической точки зрения является основным результатом этого параграфа. Одним из следствий этого закона является утверждение, что знаки собственных значений определяют знаки ведущих элементов. Другое же следствие утверждает, что если матрица В положительно определена, то собственные значения задачи Ах=ХВх имеют те же знаки, что и собственные значения обычной задачи Дх = Хх. Собственные векторы задачи Ах = 'кВх «взаимно ортогональны», но в другом смысле, чем это было раньше. Обобщенная задача на собственные значения очень важна для приложений. Поэтому один пример будет рассмотрен в настоящем параграфе и другой (связанный с методом конечных элементов) — в параграфе 6.5.
Сформулируем для случая положительно полуопределенных матриц аналог утверждений 6В и 6С, доказанных ранее для положительно определенных матриц.
Каждый из приводимых ниже критериев является необходимым и достаточным условием положительной полуопределенности матрицы А.
(I') xTAx^O для всех векторов х.
(IF) Все собственные значения Xf матрицы А неотрицательны, т, е. Х{ ^ 0.
(ИГ) Все главные подматрицы Ак имеют неотрицательные определители.
(IV') Все ведущие элементы d, неотрицательны, т. е. d^O.
(V') Существует такая матрица W (возможно, вырожденная), что А = IFTIF.
Если ранг А равен г, то f = xTAx представима в виде суммы г полных квадратов.
Связь между неравенствами хтЛх^0 и Xz^0, которая является для нас наиболее важной, устанавливается следующим образом.
Диагонализация А = QAQT приводит к равенствам
х^ Ах = xTQAQTx = у4 Ку = X,у( + ... + Хпугп, (11)
и это выражение неотрицательно для любого х только в том случае, когда все X,- неотрицательны. Если ранг матрицы А равен г, то она имеет только г ненулевых собственных значений и, следовательно, в правой части (И) имеется только г полных
квадратов.
Что же касается определителя матрицы А, то он, будучи равным произведению всех собственных значений А, неотрицателен. Далее, поскольку все главные подматрицы исходной матрицы А тоже будут положительно полуопределенными матрицами, то их собственные значения и определители также неотрицательны. Тем самым эквивалентность условия ИГ условиям I' и II' установлена. (Главные подматрицы матрицы А образуются отбрасыванием ее строк и столбцов с одинаковыми номерами, например строк и столбцов с номерами один и четыре, что сохраняет для подматриц свойство симметричности. Для главных подматриц сохраняется также свойство положительной полуопределенности: если хТАх ^ 0 для любого х, то это неравенство выполняется
для всех векторов, у которых, например, первая и четвертая компоненты равны нулю.) Новым здесь является то, что III'
прилагается ко всем главным подматрицам, а не только к расположенным в левом верхнем углу. Иначе мы не могли бы раз
"0 0"0 1"0 0"0 1личать две матрицы, у которых все левые верхние определители
"0 0"0 1
"0 0"0 1
положительно полуопре-положительно полуопре-равны нулю. Например, матрица
положительно полуопре-
положительно полуопре-
делена, а матрицаделена, а матрицаО ОО -1О ОО -1отрицательно полуопределена. Ведуотрицательно полуопределена. Веду
делена, а матрица
делена, а матрица
О О
О -1
О О
О -1
отрицательно полуопределена. Веду
отрицательно полуопределена. Веду
щие элементы для положительно полуопределенной матрицы опять будут отношениями определителей и, следовательно, будут неотрицательны. Однако при реализации исключений здесь может возникнуть необходимость в перестановках строк, и, чтобы не нарушать симметричность матрицы, мы должны одновременно осуществлять перестановку столбцов с теми же самыми номерами. Это означает, что на самом деле «симметрическое исключение» осуществляется не для матрицы РА, а для матрицы РАР\ Далее, так как такие перестановки только перемещают главные подматрицы, оставляя их определители неизменными, то из ПГ обязательно вытекает условие IV': после г этапов исключения, где г — ранг матрицы А, оставшаяся подматрица в правом нижнем углу является нулевой матрицей и, следовательно, dr+1 = .. . ...=dn = 0.
Наконец, выполнение условия IV' означает, что существует разложение РАРУ — LDLT (или A = PTLDl?P^ с диагональной матрицей D, на диагонали которой стоят неотрицательные ведущие элементы. Теперь, выбирая W = VD LAP, получаем А = IVTIV, что означает выполнение V'. В свою очередь условие Г легко следует из условия V', так как xIAx = x'IWTWx=\^Wx\\12"^0, что завершает полный цикл доказательства утверждения 6Е.
Пример. МатрицаПример. МатрицаГ 2 — 1Г 2 — 1А = — 12А = — 12— 1 —1— 1 —1— 1— 12— 1— 12
Пример. Матрица
Пример. Матрица
Г 2 — 1
Г 2 — 1
А = — 12
А = — 12
— 1 —1
— 1 —1
— 1
— 1
2
— 1
— 1
2
положительно полуопределена вположительно полуопределена всилу следующих критериев:силу следующих критериев:
положительно полуопределена в
положительно полуопределена в
силу следующих критериев:
силу следующих критериев:
(IV') Так как" 2 —1—12— 1 —1(IV') Так как" 2 —1—12— 1 —10 0"2 0 0А А22—>■° | °А 322__0 0 0_0 0"2 0 0А А22—>■° | °А 322__0 0 0_Г2—п-1 _ 02J оLГ2—п-1 _ 02J оL
(IV') Так как
" 2 —1
—12
— 1 —1
(IV') Так как
" 2 —1
—12
— 1 —1
0 0"
2 0 0
А А
22
—>■
° | °
А 3
22_
_0 0 0_
0 0"
2 0 0
А А
22
—>■
° | °
А 3
22_
_0 0 0_
Г2
—п
-1 _ 0
2J о
L
Г2
—п
-1 _ 0
2J о
L
(1Г) Собственные значения Хг = 0, Х2 = Х3 = 3 неотрицательны.
(ПГ) Определители главных подматриц порядка один равны
двум, порядка два равны трем и det А = 0.
то величины dT = 2, da = 3/2 и d3 = 0 являются ведущими эле
ментами.
Упражнение 6.3.1. Для матрицы А из последнего примера найти матрицу 117 и записать выражение хТАх = 11№хЦ2 в виде суммы двух квадратов. Описать в трехмерном пространстве поверхность хТАх=1.
Упражнение 6.3.2. Применить любые три критерия из 6Е к матрице
Г1 1
Л= 1 1 1 .
.1 1 0-
Замечание. Условия положительной полуопределенности можно также вывести из первоначальных условий I—V следующим образом. Добавим к исходной матрице А некоторое малое кратное е/ единичной матрицы, чтобы получить положительно определенную матрицу Д+е/, и устремим е к нулю. Тогда, так как собственные значения и определители непрерывно зависят от е, они должны быть положительны до самого последнего момента и, следовательно, должны быть неотрицательны при е = 0.
ПРЕОБРАЗОВАНИЯ КОНГРУЭНТНОСТИ И ЗАКОН ИНЕРЦИИ
Ранее в этой книге (в процессе исключения и задачах на собственные значения) основное внимание уделялось элементарным операциям, которые делают исходную матрицу проще. В каждом из этих случаев самым важным для нас было знать, какие свойства матрицы остаются неизменными. Когда кратное одной строки вычиталось из другой, список таких инвариантов был достаточно большим: нуль-пространство, пространство строк, ранг и определитель матрицы оставались теми же самыми. В случае задачи на собственные значения, когда основной операцией было преобразование подобия А—►S-MS (или А—»-М~1АМ), неизменными оставались ее собственные значения (а также, согласно приложению В, ее жорданова форма). Теперь мы хотим задать аналогичный вопрос для симметрических матриц. Что представляют собой «элементарные операции» и их инварианты для хТАх?
Основной операцией над квадратичными формами является преобразование переменных. Новый вектор у выражается через вектор х с помощью некоторой невырожденной матрицы С по формуле х = Су, в результате чего квадратичная форма принимает вид утСтАСу. Таким образом, основной матричной операцией в теории квадратичных форм является преобразование конгруэнтности
А—>-СТАС с некоторой невырожденной матрицей С. (12)
Свойство симметричности при этом преобразовании сохраняется, поскольку матрица С1 АС симметрическая, если симметрической является матрица А. Но нас интересует вопрос, какие еще свойства матрицы А остаются неизменными при преобразовании конгруэнтности? Ответ на него дает закон инерции Сильвестра.
I
6F. Матрица С' АС имеет столько же положительных, отрицательных и равных нулю собственных значении, что и матрица А.
Другими словами, знаки собственных значений (но не сами собственные значения) сохраняются при преобразовании конгруэнтности. При доказательстве этого утверждения мы для удобства предположим, что матрица А невырожденная. Тогда матрица СТАС тоже невырожденная и, следовательно, не надо беспокоиться из-за нулевых собственных значений. (В противном случае, мы можем работать с невырожденными матрицами A A-el или А—е/ и в конце устремить е к нулю.)
Воспользуемся для доказательства 6F одним приемом из топологии, или, более точно, из теории гомотопий. Предположим, что матрица С связана с некоторой ортогональной матрицей Q непрерывной цепочкой матриц С (f), O^/^l (т. е. С(0) = С и C(1) = Q), ни одна из которых не является вырожденной. Тогда собственные значения матрицы Ст (О АС (/) непрерывно изменяются (при изменении / от 0 до 1) от собственных значений матрицы СТАС до собственных значений QL4Q. Так как ни одна из матриц С (/) не является вырожденной, то ни одно из собственных значений матриц Ст (0 АС (t) не может стать равным нулю (и тем более перескочить через нуль!). Следовательно, число собственных значений справа от нуля и число собственных значений слева от нуля одни и те же для матриц С^АС и Q^AQ. Отсюда, поскольку собственные значения матрицы А совпадают с собственными значениями подобной ей матрицы Q-MQ = QL4Q, вытекает, что столько же положительных и отрицательных собственных значений и у матрицы А *). Утверждение 6F доказано.
Пример 1. Если А=/, то матрица СТЛС = СТС положительно определена (возьмите, например, С = W из условия V). Все собственные значения единичной матрицы и матрицы СТС полоПример 1. Если А=/, то матрица СТЛС = СТС положительно определена (возьмите, например, С = W из условия V). Все собственные значения единичной матрицы и матрицы СТС положительны, что подтверждает закон инерции.жительны, что подтверждает закон инерции.Пример 2. Если А =Пример 2. Если А =1О1ОО— 1О— 1, то определитель матрицы СТАС, то определитель матрицы СТАС
Пример 1. Если А=/, то матрица СТЛС = СТС положительно определена (возьмите, например, С = W из условия V). Все собственные значения единичной матрицы и матрицы СТС поло
Пример 1. Если А=/, то матрица СТЛС = СТС положительно определена (возьмите, например, С = W из условия V). Все собственные значения единичной матрицы и матрицы СТС поло
жительны, что подтверждает закон инерции.
жительны, что подтверждает закон инерции.
Пример 2. Если А =
Пример 2. Если А =
1
О
1
О
О
— 1
О
— 1
, то определитель матрицы СТАС
, то определитель матрицы СТАС
отрицателен:
det С1 АС = (det Ст) (det Л) (det С) = — (det С)2 < 0.
!) В доказательстве нам необходима ортогональная матрица Q. Хороший способ выбора Q доставляет применение процесса Грама — Шмидта к столбцам матрицы С. Итак, пусть C = QR, где R— верхняя треугольная матрица с положительными диагональными элементами. Тогда в качестве непрерывной цепочки, связывающей С с Q, можно выбрать семейство матриц С (/) = ZQ + 4- (1 — i) QR = Q [//-Ь(1—0#L Действительно, при любом /£[0, 1] матрица С (/) невырожденная, так как Q—ортогональная матрица, а второй сомножитель </+(1 — 0^ является верхней треугольной матрицей с положительными диагональными "элементами.
Поскольку этот определитель является произведением собственных значений, то одно собственное значение матрицы СТАС должно быть положительным, а другое отрицательным (как и у матрицы/1), что опять согласуется с законом инерции.
Пример 3. Следующее применение закона инерции является очень важным.
6G. У любой симметрической матрицы А знаки ведущих элементов согласованы со знаками собственных значений. Точнее число положительных, отрицательных и равных нулю собственных значений матрицы А равно числу ее положительных, отрицательных и равных нулю ведущих элементов соответственно.
Известно, что A = QAQT, где Q — ортогональная матрица, Л —диагональная матрица с собственными значениями матрицы А по диагонали', а формула Холецкого имеет вид
A = LDL\ или ^L-M^-’^GL-^A^Q)1. (13)
Выберем С = ^L-1Qy. Тогда, согласно закону инерции, собственные значения матрицы D = CTAC (одновременно являющиеся ведущими элементами для А) имеют те же знаки, что и собственные значения матрицы Л. Если же в процессе исключения (сохраняющем симметричность) требовались перестановки строк и столбцов, то те же рассуждения нужно применить к матрице РАР\
казать, что матрица СААС имеет собственные значения тех же знаков, что и А. Можете ли вы сконструировать цепочку невырожденных матриц С (f), осуществляющих переход от С к ортогональной матрице Q?
Г1 3 спГ1 3 спУпражнение 6.3.4. Используя знаки ведущих элементов, показать, что матрица
Г1 3 сп
Г1 3 сп
3 8 7
L0 7 6j
имеет одно отрицательное и два положительных собственных значения. Затем найти ведущие элементы матрицы А 4-2/ и показать, что добавление двойки к собственным значениям матрицы А делает их все положительными. Следовательно, отрицательное собственное значение матрицы А должно принадлежать интервалу (— 2, 0).
Последнее упражнение указывает путь вычисления собственных значений, и это будет первый практический метод, который мы укажем. (Он был одним из основных методов около двадцати лет назад и до сих пор остается одним из самых эффективных.)
Идея метода состоит в том, чтобы последовательно разрезать интервал неопределенности; если мы знаем, что X лежит в интервале (— 2, 0), то на следующем шаге надо выяснить, будет ли наименьшее собственное значение больше или меньше —]. Работая с матрицей А-Vl, собственные значения которой на единицу больше собственных значений А, мы устанавливаем, что один из ее ведущих элементов отрицателен и, следовательно, искомое собственное значение X меньше чем —1. Следующий шаг заключается в исследовании матрицы Д+3//2, у которой опять оказывается один отрицательный ведущий элемент. Поэтому X должно принадлежать интервалу (—2, —3/2). На каждом шаге граница уточняется на один двоичный разряд.
Для больших симметрических матриц этот метод является слишком дорогим, так как для плотных матриц каждый шаг требует и3/6 действий для вычисления ведущих элементов. Но если до начала вычислений матрица может быть преобразована к трехдиагональной, как это делается в § 7.3, то каждое деление интервала неопределенности пополам будет требовать только 2п умножений. Исключения осуществляются очень быстро, и поиск собственных значений путем последовательного уточнения границ интервала неопределенности становится чрезвычайно простым. Это так называемый метод Гивенса.
ОБОБЩЕННАЯ ЗАДАЧА НА СОБСТВЕННЫЕ ЗНАЧЕНИЯ
Я не уверен относительно экономики, но физика, техника и статистика обычно бывают столь «любезны», что в рассматриваемых ими задачах на собственные значения матрицы оказываются симметрическими. Однако в этих задачах может оказаться две матрицы, а не одна, т. е. вместо задачи Ах = Хх мы сталкиваемся с задачей Ах = ХВх. В качестве примера такой ситуации рассмотрим задачу о движении двух неодинаковых масс.
Согласно закону Ньютона, Г1 = т1а1 для первой массы и Г2 = тга2 для второй. Если мы выберем ту же самую систему пружин, что и на стр. 249, то силы Ft и Г2 останутся теми же самыми. Физику процесса мы можем описать следующим образом: если массы смещены на расстояния у и w, как на рис. 6.3,
оо=-1оо=-1шшшш
оо=-1
оо=-1
шш
шш
Рис. 6.3. Колебательная система с неодинаковыми массами.
то пружины тянут их назад соответственно с силами Ft = — 2v 4- ty и Рг = и—2tw. Новое и важное явление наблюдается в левой части уравнений, где возникают уже две массы:
У 0 сГи —211 -У 0 сГи —211 -= — 2и + ю,
У 0 сГи —21
1 -
У 0 сГи —21
1 -
= у —2m,
* at1
Когда массы равны, т. е. т1 = тг = 1, мы возвращаемся к старой системе и" = Аи. Теперь же, поскольку имеется «матрица масс» В, мы приходим к системе Ви" = Аи. Когда ищется экспоненциальное решение etotx, мы приходим к задаче на собственные значения вида
В (ito)2 e‘tolx = Ае£(й<х.
Сокращая на eitot и заменяя (но)2 на X, получим
Ах = ХВх, илиАх = ХВх, или"—21"—211—21—2х = Xх = X«i0«i000татах.х.(U)(U)
Ах = ХВх, или
Ах = ХВх, или
"—2
1
"—2
1
1
—2
1
—2
х = X
х = X
«i
0
«i
0
0
0
та
та
х.
х.
(U)
(U)
Решение этой системы существует только в том случае, когда матрица Л—ХВ вырожденная. Поэтому X должно быть корнем уравнения det (А—ХВ) = 0. При этом специальный выбор В — 1 возвращает нас к обычному уравнению det (А—Х/) = 0.
Рассмотрим пример, когда mt=\ и та = 2. Тогда
det (А —ХВ) = detdet (А —ХВ) = det2—X 11—2—2Х2—X 11—2—2Х= 2Х3 + 6Х + 3= 2Х3 + 6Х + 3и, следовательно,и, следовательно,-3 ± Уз-3 ± Уз
det (А —ХВ) = det
det (А —ХВ) = det
2—X 1
1—2—2Х
2—X 1
1—2—2Х
= 2Х3 + 6Х + 3
= 2Х3 + 6Х + 3
и, следовательно,
и, следовательно,
-3 ± Уз
-3 ± Уз
Оба собственных значения отрицательны, и двумя естественными частотами являются величины tot = V— Xt . Соответствующие собственные векторы вычисляются обычным способом:
(А—Х^В) Xi =
1— Уз
2
_1
1
1— /5
xt = 0,
х2 =
Уз —f
_ 1 .
(А — ХаВ)ха =
~-1+ /з 2
_ 1
1
1+/3.
ха = 0,
Ха =
"1 +/3 i . — 1 .
Эти собственные векторы задают «гармоники». При меньшей частоте «! обе массы осциллируют вместе (смещения в одинаковую сторону) с тем лишь отличием, что первая масса сдвигается
только на р^З — 1 «0.73, а вторая (большая) в силу соответствующих причин имеет большую амплитуду колебаний. Для большей частоты и, компоненты вектора х4 имеют противоположные знаки и, следовательно, массы двигаются в противоположных направлениях. При этом меньшая масса отклоняется от точки равновесия значительно сильнее.
Соответствующую теорию гораздо легче объяснить, если предварительно разложить В в произведение №ти7 (как и в примере, здесь предполагается, что матрица В положительно определена). Тогда после замены переменных y = Wx уравнение Ах = ХВх — = XWTWx приходит к виду AW~1y = XWTy. Теперь, если обозначить матрицу W-1 через С и умножить последнее уравнение на матрицу (Ц7Т)-1 = СТ, мы придем к стандартной задаче на собственные значения
СМСу-Ху (15)
с одной матрицей СТАС. Собственные значения этой задачи совпадают с собственными значениями исходной задачи Ах = ХВх, а собственные векторы связаны соотношением уу = 97ху1). Свойства симметрической матрицы СТАС непосредственно определяют соответствующие свойства задачи Ах = ХВх.
Все ее собственные значения вещественны.
Согласно закону инерции, ее собственные значения имеют те же самые знаки, что и собственные значения матрицы А.
Собственные векторы уу. ортонормированы, что соответствует «В-ортонормированности» собственных векторов Xj исходной задачи:
если 1 Ь
xlBx,^=xlWyWx.- = ytyf=l _..(16)
v 111 0, если 1=£^.’
Если векторы Xj являются столбцами матрицы S, то (16) означает, что STBS = Z. Аналогично
x"t Ах, = x’tXj-Bxj =x"t Ах, = x’tXj-Bxj =О,О,если i = j, если 1=^1.если i = j, если 1=^1.(17)(17)
x"t Ах, = x’tXj-Bxj =
x"t Ах, = x’tXj-Bxj =
О,
О,
если i = j, если 1=^1.
если i = j, если 1=^1.
(17)
(17)
В матричных обозначениях это означает, что STAS = A, и выражает следующий замечательный факт: матрицы А и В одновременно диагонализуются преобразованием конгруэнтности S.
Геометрический смысл последнего факта не очень понятен.
В случае положительной определенности обеих матриц две по-
!) Более быстрым способом получения задачи с одной матрицей был бы переход к уравнению 3~Mx = A.x. Но матрица В-1А не является симметрической, и мы предпочитаем воздействовать «половинками» матрицы В-1 с разных сторон на матрицу А, чтобы получить симметрическую матрицу G^AG.
верхности хтЛ№ 1 и хтВх=1 являются эллипсоидами. Очевидно, преобразование x = Sz задает такие новые координаты (так как S неортогональная матрица, то это преобразование не является чистым вращением), что эти два эллипсоида становятся «правильно расположенными»:
хТАх = гт5тЛ5г = Х^ + ... + Xnz„ = 1,
xTBx = zTSTBSz = ZxA- ...+2^ = 1.(18)
Второй эллипсоид в действительности является сферой! Конечно, основной момент теории постепенно проясняется и его легко сформулировать: в случае положительно определенной матрицы В обобщенная задача на собственные значения Ах = ХВх ведет себя в точности как задача Ах = Хх.
Упражнение 6.3.5. Для рассмотренного примера с тг=\ и т2 = 2 проверить, что гармоники S-ортогональны, т. е. х^Вх? = 0. Какими будут коэффициенты а, результирующего движения и = ах cos toAtxA А-а4 cos <n4tx4> если обе массы сместить на одинаковое расстояние, равное единице (и0 =— 1 и к?0= 1), а затем отпустить? Какое максимальное расстояние от положения равновесия достигается первой массой (когда два косинуса соответственно равны -ф-1 и —1)?
Упражнение 6.3.6. Найти собственные значения и собственные векторы задачи
Г 6 — 31 Х_ Г4 И
[-3 6J184J *’
Упражнение 6.3.7. Если симметрические матрицы А и В порядка 2 не являются определенными, то задача Ах = ХВх может иметь комплексные собственные значения. Построить соответствующий пример.
§ 6.4. ПРИНЦИПЫ МИНИМУМА И ОТНОШЕНИЕ РЕЛЕЯ
В этом параграфе, приближаясь уже к концу книги, мы впервые откажемся от линейных уравнений. Неизвестный вектор х не будет даваться как решение уравнений Ах = Ь или Ах = Хх. Вместо этого он будет определен с помощью принципа минимума.
Удивительно, как много физических законов может быть выражено с помощью принципов минимума. Такой простой факт, что тяжелые жидкости опускаются на дно, является следствием минимизации их потенциальной энергии. Или когда вы сидите на стуле, или лежите на кровати, пружины сами занимают такое положение, чтобы опять потенциальная энергия была минимальна. Конечно, имеются и более серьезные примеры: здание похоже на очень сложный стул, выдерживающий свой собственный вес, и основным принципом строительной техники является минимизация полной энергии. В физике имеются «лагранжианы»
и «интегралы действия»; соломинка в стакане с водой выглядит как бы сломанной, поскодьку свет выбирает такой путь, чтобы достичь глаза как можно скорее1).
Мы сразу же хотим сказать, что «энергии» всех этих процессов есть не что иное, как положительно определенные квадратичные формы. Очевидно, что производная квадратичной формы линейна. Поэтому минимизация приводит нас опять к привычным линейным уравнениям, когда мы приравниваем нулю первые производные. Нашей ближайшей целью в настоящем параграфе будет нахождение задачи минимизации, соответствующей уравнению Ах = Ь, а также другой задачи минимизации, соответствующей уравнению Ах = Хх. Мы собираемся проделать в конечномерном случае то, что вариационное исчисление проделывает в непрерывном случае, где обращение в нуль первых производных приводит к дифференциальным уравнениям (уравнениям Эйлера). При этом в каждой конкретной ситуации мы вольны выбирать, искать решение линейного уравнения или задачи на минимум квадратичной формы, и, как это будет показано в следующем параграфе, для многих задач вторую возможность игнорировать не следует.
Первый шаг очень прост: требуется найти «параболу» Р, минимум которой достигается в точке, являющейся решением уравнения Ах = Ь. Если А является скаляром, то это сделать очень легко:
Р(х)=1Лх2—Ьх и ^ = Ах—Ь.
Эта парабола достигает минимума только в случае, когда А положительно и, значит, парабола открыта вверх; тогда обращение в нуль ее первой производной дает уравнение Ах = Ь (рис. 6.4). В многомерном случае эта парабола переходит в параболоид, но формула для Р и условие положительности для существования минимума остаются неизменными.
6Н. Если А—симметрическая и положительно определенная матрица, то квадратичная форма Р (х) = — х7 Ах — хТЬ достигает своего минимума в точке, являющейся решением системы Ах = Ь.
!) Я уверен, что растения и люди развиваются в соответствии с некоторыми принципами минимума. Возможно, и сама цивилизация основана на законе наименьшего действия. Открытие таких законов является фундаментальным шагом в переходе от наблюдений к объяснению явлений. В общественных науках и биологии предстоит найти еще некоторые законы такого типа.
Рис. 6.4. Минимум квадратичной функции Р (х).
Доказательство. Предположим, что х является решением системы Ах = Ь. Тогда для любого вектора у имеем
Р (У)—Р W = -^ у1 А у—y^b—у х^ Ах + хТЬ =
= -^уТАу— yTAx+jXTAx=(19)
= ^-(У—хУ А (у—х\
Так как матрица А положительно определена, эта величина нигде не принимает отрицательных значений и равна нулю, только когда у—х=0. Во всех других точках Р (у) больше, чем /Дх), и, следовательно, минимум достигается в точке х.
Упражнение 6.4.1. Рассмотреть систему
Г 2 —1 ОПГх,-! Г4П| —12 —1 х8 = 0 |.
L 0 — 12_j[_x8j L4J
Построить соответствующую квадратичную форму Р (xlt хг, х3), вычислить ев частные производные dPjdxi и показать, что они обращаются в нуль только на решении исходной системы.
Упражнение 6.4.2. Найти минимум (если он существует) функций Рг = =хг/2-\-ху+йг — Зу и Р^ — х^/^—Зу. Какая матрица соответствует функции Р2?
Упражнение 6.4.3. Другая квадратичная форма, которая достигает минимума на решении системы Ах=Ь, задается равенством
9(х) = 1||Лх-И2^хтЛтЛх-хтЛт6+16тй
Сравнивая Q с Р и игнорируя константу 6Т6/2, ответить на вопрос, какую систему уравнений для определения минимума мы в этом случае получаем. Как называются эти уравнения в методе наименьших квадратов?
Наша следующая цель—найти задачу минимизации, соответствующую уравнению Ах = Хх. Это не так легко. Функция, которую мы должны построить, не может быть просто квадратичной, так как тогда ее дифференцирование приведет к линейным уравнениям, а задача на собственные значения в сущности своей нелинейна. Выход из положения дает нам переход к отношению квадратичных функций, и нам необходимо лишь так называемое отношение Реле я
Xх X
Мы перейдем непосредственно к основной теореме.
Принцип Редея. Отношение R(x) минимизируется первым собственным вектором хп и это минимальное значение равно наименьшему собственному значению Xj матрицы А:
== & =(20)
Вх1хг xixi
Проанализируем сначала сделанное утверждение с геометрической точки зрения. Представьте себе, что мы зафиксировали числитель равным единице и стараемся сделать знаменатель как можно больше. Уравнение хтАх=1 для числителя определяет, по крайней мере для положительно определенной матрицы А, эллипсоид. Тогда, так как знаменатель равен Л: = ||х|р, мы должны искать точку на поверхности эллипсоида, которая расположена дальше всех от начала координат (иначе говоря, вектор х должен иметь наибольшую длину). Но из нашего предыдущего изучения эллипсоида вытекает, что направление его наибольшей оси (на которой находится искомая точка) совпадает с направлением первого собственного вектора.
Алгебраически в этом очень легко убедиться (даже без требования положительной определенности А), если мы диагонали- зуем матрицу А с помощью ортогональной матрицы Q; Q~MQ=A, где QT = Q-1. После преобразования x — Qy отношение Релея принимает более простой вид
п / (Qy)T A (Qy) уТAy Х1У1 + ... -У^пУп
(Qy) (Qy) у у у^+-..+уп
Минимум этого отношения, очевидно, достигается в точке с координатами yv = 1 и у2 = у3 = ... = уп = 0. В этой точке отношение равно Хг. В любой другой точке отношение будет больше, так как X,—наименьшее из всех X,
^1 (У1 + Уг + • • • + Уп) ^ (X^i + Хгу3 + . . . + Х„у£).
Поделив последнее неравенство на выражение, стоящее в первых скобках, получим X, ^ R (х). Таким образом, минимум достигается на первом собственном векторе или, точнее, на любом векторе x = cxv кратном ему, так как «растягивающий» множитель с не изменяет отношения, т. е. -
R (сх) = ^Ь1^ = ^£jl£ = (х).(сх^ (сх) с2хТх
Принцип Релея означает, что для каждого вектора х отношение R (х) дает верхнюю границу для ht. Заметим, что для оценки ^ сверху нам не нужны собственные векторы и переход к новому вектору у. Это было полезно при доказательстве, но в приложениях мы можем выбирать совершенно произвольный вектор х.
Упражнение 6.4.4. Каково отношение R (х) для произвольной матрицы А и конкретного вектора х = (1, 0, ..., 0). Показать, что X, не превосходит наименьшего из диагональных элементов ан матрицы А.
Упражнение 6.4.5. Для матрицы А = U найти вектор х, который дает меньшее значение отношения R (х), чем оценка Х1<2, полученная с помощью диагональных элементов матрицы А. Каково минимальное значение R (х)?
Упражнение 6.4.6. Используя отношение Релея, показать, что для положительно определенной матрицы В наименьшее собственное значение матрицы А--Д больше наименьшего собственного значения матрицы А.
Упражнение 6.4.7. Пусть Xj — наименьшее собственное значение матрицы Л, а щ— наименьшее собственное значение матрицы В. Показать, что наименьшее собственное значение 0t матрицы А-{-В по крайней мере не меньше, чем Xt+pi- (Указание: подставить соответствующий собственный вектор х в отношение Релея.)
Последние два упражнения — это, возможно, самые типичные и наиболее важные результаты, которые легко получить из отношения Релея, но очень трудно непосредственно из исходных уравнений.
Применение отношения Релея не ограничивается первым собственным значением X, и соответствующим ему собственным вектором В действительности легко видеть, что максимум отношения
Х1У14-Х2у2+ • • ■ "У^пУпУ1 + У»+ • • • + УпХ1У14-Х2у2+ • • ■ "У^пУпУ1 + У»+ • • • + Уп(21)(21)
Х1У14-Х2у2+ • • ■ "У^пУп
У1 + У»+ • • • + Уп
Х1У14-Х2у2+ • • ■ "У^пУп
У1 + У»+ • • • + Уп
(21)
(21)
достигается на другом конце последовательности единичных векторов у, а именно в точке с координатами уп = 1 и Ух = уг = •.. ...=уп_1 — 0. Эта точка соответствует последнему собственному вектору х = хп, а само максимальное значение отношения равно Хп. Следовательно, каждое значение отношения R (х) является не
только верхней границей для Xj, но и нижней границей для X/), В заключение заметим, что промежуточные собственные векторы хг, ..., хп_л являются седловыми точками отношения Релея.
Упражнение 6.4.8. Вычислить частные производные отношения (21) и показать, что точка с координатами у2= 1 и У1 = Уз= • ■ • =Уп = 0 является его стационарной точкой. Найти максимум отношения
R (x) = (xj — ^Хг+^Д^+хг).
ПРИНЦИП МИНИМАКСА ДЛЯ СОБСТВЕННЫХ ЗНАЧЕНИЙ
Трудность с седловыми точками заключается в том, что для произвольного вектора х мы не можем сказать, будет отношение Релея R (х) больше или меньше любого из промежуточных собственных значений Х2, .. ,,Xn_v Для приложений существует принцип экстремума (минимума или максимума), который действительно оказывается полезным. Поэтому мы рассмотрим такой принцип, подразумевая, что максимум или минимум будет достигаться на /-м собственном векторе x^Y Руководящую идею дает нам основное свойство симметрической матрицы: вектор х} ортогонален к другим собственным векторам матрицы А. Потребуем, чтобы векторы х, реализующие принцип минимума, были ортогональны к первым собственным векторам xn ...,x;_v т. е. yt = уа= . .. = у^.^О. На остальные параметры у^, ....уп не накладывается ограничений и отношение Релея принимает вид
Х/У/ + Х/+ii//+i+ •. • + ^пУп
У/ + У/+1 + • • ■ + Уп
Его минимум равен X,- и достигается, когда у#=\, а у^г=... . . . = У„ = 0.
! 6J. В предположении, что вектор х ортогонален к собствен- । ным векторам xv ..., х^, отношение R^ минимизируется следующим собственным вектором х; и его минимальное значение равно Ху.
Х} = min R (x) при условии, что хТхг = ... = xTx/_i = 0. (22) Аналогично Xj максимизирует R (х) на множестве векторов х, перпендикулярных векторам xj+i, ..., хп.
!) Используя рассуждения из упр. 6.4.4, легко показать, что ни один диагональный элемент не превосходит Хп.
Эта тема несколько специальна, и метод Релея — Ритца конечных элементов основывается на тех принципах минимума, которые уже найдены. Поэтому ничто не мешает нам перейти прямо к § 6.5.
Пользуясь сформулированным принципом, теоретически возможно определить все собственные значения в возрастающем порядке. Первое собственное значение Ах является абсолютным минимумом для R (х), который достигается на векторе х,. Следующее собственное значение Х2 является минимальным значением R (х) в предположении, что векторы х ортогональны xv При этом для любого х, ортогонального к хх и не совпадающего с х2, значение R (х) больше, чем %2.
Пример. Матрица
Г 1 —1'
л- -1 2 -1— 12 -1
-—1L
положительно полуопределена, и вектор хх = (1, 1, 1, 1) лежит в ее нуль-пространстве и является собственным вектором, соответствующим собственному значению Хх = 0. Для того чтобы найти некоторую верхнюю грань для Х2, выберем некоторый пробный вектор х, ортогональный к хх, и вычислим значение R (х):
х^Ах
пусть х = (1, 1,—1,—1) и —-— = 1, а следовательно, %2^1.хТх
Здесь только одна проблема: если мы не знаем точно вектор х, (а знаем мы его в очень редких случаях), то мы не знаем, будет ли вектор х ортогонален к нему. В задачах минимизации с ограничениями само ограничение должно быть известно!
Нас интересует, существует ли принцип экстремума для Х2 и х„ который не требовал бы знания вектора хх. Ответ здесь очень тонкий. Предположим, что вектор хх неизвестен и в качестве пробных векторов х выбираются векторы, ортогональные к некоторому, вообще говоря, произвольному вектору г. Если г = хх, то минимальное значение R (х) будет равно Х2. В гораздо более правдоподобной ситуации, когда вектор z отличен от хх, относительно искомого минимума можно сказать лишь следующее: он не больше, чем Х4. Иначе говоря, для любого г
min R (х) ^ Х2.(23)
т „
X 2=0
Доказательство. Любая ненулевая комбинация первых двух собственных векторов х = ах,+Рх2 будет ортогональна к вектору г, если наложить определенные условия на коэффициенты а и р. Тогда для любой такой комбинации
р (axi+ Р-*2>Т А (ахх+Рх2) Ьха2+Х202 / i
(ccxi 4“ Р^г) (^14* Р-^г)
Отсюда, так как найден вектор х, для которого R (х) ^ Х2, следует, что минимум R (х) обязательно будет меньше, чем Х2. Этот факт непосредственно приводит нас к «принципу максимина».
6 К. Если мы минимизируем R (х) на множестве векторов, подчиненных одному условию хт2 = 0, и выбираем г так, чтобы максимизировать этот минимум, то получим Х2, т. е.
Х2 = max Г min R (х)1.Х2 = max Г min R (х)1.гг(24)(24)X Z=oX Z=o
Х2 = max Г min R (х)1.
Х2 = max Г min R (х)1.
г
г
(24)
(24)
X Z=o
X Z=o
Величина в скобках, согласно (23), меньше или равна Х2 и при специальном выборе z = xY точно равна Х2.
Геометрически принцип максимина имеет естественную интерпретацию. Предположим, что эллипсоид разрезан плоскостью, проходящей через начало координат. Тогда сечение эллипсоида опять будет эллипсоидом меньшей на единицу размерности. При этом неравенство (23) просто означает, что наибольшая ось нового эллипсоида по крайней мере не меньше второй по величине оси исходного эллипсоида (на рис. 6.5 это соответствует неравенству
Рис. 6.5. Иллюстрация принципов максимина и минимакса: Х1<щ<Х2^ ^ Из ^^ ^3"Рис. 6.5. Иллюстрация принципов максимина и минимакса: Х1<щ<Х2^ ^ Из ^^ ^3"
Рис. 6.5. Иллюстрация принципов максимина и минимакса: Х1<щ<Х2^ ^ Из ^^ ^3"
Рис. 6.5. Иллюстрация принципов максимина и минимакса: Х1<щ<Х2^ ^ Из ^^ ^3"
Ц1 ^ ^г)- При специальном выборе разрезающей плоскости наибольшая ось возникающего эллипсоида будет точно равна второй по величине оси исходного эллипсоида. Это достигается выбором плоскости, перпендикулярной направлению z = xt наибольшей оси исходного эллипсоида. В этом случае p-i = X2.
Геометрическая картина сразу может быть переведена на язык матричной алгебры..
6 L. Пусть задана симметрическая матрица А с собственными значениями X, ^Х2^. . .^Х„ и подматрица Ап_Л получена из матрицы А путем отбрасывания ее последних строки и столбца. Тогда если ц,—наименьшее собственное значение матрицы ^n-li ^2*
Сначала заметим, что Хх является абсолютным минимумом отношения R (х), а рх —минимальным значением R (х) на мно
2 — Г— 122 — Г— 12жестве векторов, последняя компонента которых равна нулю. Этот минимум с ограничением не может быть меньше абсолютного минимума, т. е. Xj^p,. С другой стороны, условие равенства нулю последней компоненты х эквивалентно условию хтг = О при специальном выборе г = (0, ..., О, 1). Отсюда, согласно (23), имеем неравенство pj^X3.
2 — Г
— 12
2 — Г
— 12
равныравныПример 1. Собственные значения матрицы А =
равны
равны
единице и трем, в то время как собственное значение подматрицы,
получаемой отбрасыванием последних строки и столбца, равно
двум.
Пример 2. Собственные значения матрицы
2—1 О'
— 12 — 1
0—12
равны 2—J/2, 2, 2 + ]/-2. Если отбросить последние строку и столбец А, то наименьшее собственное значение полученной подматрицы возрастет до единицы, но не превысит собственное значение Х2 матрицы А: 2— У"2 < 1 < 2.
Пример 3. Если В положительно определена, то, согласно принципу Релея,
л■ хТ (А 4-х _. хТАх. , ..
Х1(Д + 5) = тт— Т> пип—= ^ (Д).
ххх1#
Эта задача ставилась в упр. 6.4.6. Теперь принцип максимина (24) позволяет получить такое неравенство для вторых собственных значений: Х2 (Д + S) > Х2 (Д), так как R (х) опять возрастает при добавлении к А матрицы В.
Пример 4. Для заданной осциллирующей системы масс и пружин предположим, что одна из них вынужденно остается в
положении равновесия. Тогда наименьшая частота системы возрастает, но при этом не превосходит первоначального собственного значения Х2.
Упражнение 6.4.9. Найти собственные значения матрицы
"2—1 01
Л= —12 0
L°° L
и показать, используя неравенство Х1^р1<Х2> что независимо от того, какая пара строка-столбец вычеркнута, наименьшее собственное значение полученной таким образом матрицы будет равно единице. Что при этом происходит с эллипсоидом х1Ах=1?
Упражнение 6.4.10. Обобщить принцип максимина на случай / различных ограничений:
Полагая / = 2, вывести неравенство для наименьшего собственного значения подматрицы А, которая получается отбрасыванием последних двух строк и столбцов.
Наступило время обратить последние из сформулированных теорем и установить принцип минимакса. Это означает, что мы сначала должны максимизировать отношение Релея, а затем найти минимальное значение этого максимума.
Существует несколько подходов к решению этой задачи в зависимости от того, какие собственные значения нам нужны. Например, чтобы найти наибольшее собственное значение Х„, мы просто должны максимизировать R (х). Но предположим, что нам нужно найти Х2. Так как отношение Релея имеет вид
Х1У1 + Х2У2+ •.. + Хпуп
У1+У2+ • • ■ 4"Уп
то очевидный способ нахождения Х2 как максимума—это наложить условие, что у3 — у4 = ... = уп = 0. Эти п—2 ограничения приводят к двумерному подпространству, порожденному первым и вторым собственными векторами х, и х2 матрицы А. Максимум R (х) в этом двумерном пространстве равен Х2, но для этого нужны векторы Xj и х2, а они неизвестны.
Когда подобная проблема возникла в принципе максимина, она была разрешена выбором некоторого, вообще говоря, произвольного ограничения xTz = 0. Мы применим ту же идею, максимизируя R (х) в некотором произвольном двумерном подпространстве. Мы не можем узнать, будет ли это подпространство содержать какие-либо собственные векторы, но это маловероятно.
Тем не менее максимум отношения Релея позволяет получить оценку для Х2. Если ранее минимум отношения R^x) при условии хТг = 0 давал оценку для Х2 снизу, то теперь его максимум по рассматриваемому подпространству дает для Х2 оценку сверху. Иначе говоря, для любого двумерного подпространства S2 из R" max R (х) ^ %2.(26)
2 € Sg
Доказательство. Любое из подпространств S2 всегда содержит вектор х, ортогональный к вектору хп и для него R(x) ^Х2. Отсюда сразу следует принцип минимакса.
(27)(27)6М. Если мы максимизируем R (х) по всем возможным двумерным подпространствам 32, то минимально возможное значение этих максимумов равно Х2:
(27)
(27)
Х2 = mins.
Величина в скобках всегда больше или равна Х2, а для частного выбора, когда S2 порождается первым и вторым собственными векторами матрицы А, равна Х2.
Упражнение 6.4.11. Для матрицы А из примера 2 вычислить собственное значение ц2 ее подматрицы порядка два, стоящей в левом верхнем углу, и сравнить его с Х2 и Х3.
Мы закончим настоящий раздел двумя замечаниями. Я надеюсь, что вы убедитесь в их справедливости на основании интуитивных соображений, без детальных доказательств.
Замечание 1. Принцип минимакса может быть использован для нахождения произвольного Ху, если воспользоваться /-мерными подпространствами 3,\
= min ГтахР (х)1. (28) S^ 6 Sy ]
Замечание 2. Все перечисленные принципы можно обобщить на случай обобщенной задачи на собственные значения, если в отношении Релея заменить величину хтх на х^Вх. Используя замену x = Sz, где в качестве столбцов матрицы S выбраны В-орто- нормированные собственные векторы матрицы В-1 А, получим
RWRWхт Ах хтВххт Ах хтВх М г1 + • • • ^nZn-?!+...+г^ М г1 + • • • ^nZn-?!+...+г^(29)(29)
RW
RW
хт Ах хтВх
хт Ах хтВх
М г1 + • • • ^nZn
-?!+...+г^
М г1 + • • • ^nZn
-?!+...+г^
(29)
(29)
Для этого и проводилась одновременная диагонализация матриц А и В на стр. 303, когда обе квадратичные формы представлялись в виде суммы полных квадратов. При этом легко видеть,
что Xt = min R (х), a Xn = max/? (х). Для примера осциллирующей системы с неодинаковыми массами вынужденное закрепление одной массы в состоянии равновесия будет увеличивать наименьшую частоту и уменьшать наибольшую.
Упражнение 6.4.12. На каком /-мерном подпространстве Sy из соотношения (28) минимум достигается, или, иначе говоря, для какого Sy максимум R (х) равен Ху?
Упражнение 6.4.13. Принцип минимакса (28) можно записать с помощью ограничений, а не подпространств:
Ху= min Г max R (х)г*2л-/ [ zTz1 = ...=zTzn_y=0
Какова связь между векторами г и подпространствами Sy?
Упражнение 6.4.14. Показать, что наименьшее собственное значение Xf задачи Дх = ХВх не больше отношения ац/6ц Диагональных элементов матриц Д и В.
Упражнение 6.4.15 (трудное). Показать, что если последние строку и столбец симметрической матрицы Д выбросить, то собственные значения ру оставшейся подматрицы удовлетворяют неравенствам
(30)(30)Xj ^ pi <Xg ^ Рг <• • *^ Pn-i ^ ^п*
(30)
(30)
Напомним, что отбрасывание последних строки и столбца соответствует простому ограничению: последняя компонента х„ вектора х равна нулю, т. е. х ортогонален к вектору z = (0, ..., 0, 1). Неравенство ру^Ху выводится-из принципа минимакса, а неравенство р7 <Ху+1 — из принципа максимина.
§ 6.5. ПРИНЦИП РЕЛЕЯ —РИТЦАИ МЕТОД КОНЕЧНЫХ ЭЛЕМЕНТОВ
Настоящий параграф содержит два основных результата:
(i) Решение системы Ах = Ь эквивалентно минимизации квадратичной формы Р (х) = ~ хТАх—хтЬ.
(и) Решение задачи Ах = Хгх эквивалентно минимизации отношения Релея R (х) = хтАх/хтх.
Попытаемся объяснить, как эти факты могут быть применены.
История вопроса очень длинна, поскольку эти факты были известны уже более века назад. В некоторых классических задачах техники и физики, таких, как колебание пластин и стационарные состояния (собственные значения и функции) атома, эти минимизации использовались для построения грубых аппроксимаций точных решений. Эти аппроксимации просто оказывались грубыми, так как единственным инструментом исследователя были
карандаш, бумага и арифмометр. Конечно, были и математические принципы, но они не могли быть использованы.
Очевидно, что вычислительные машины принесли с собой революцию в численные методы, но в первую очередь она отбросила принципы минимума, так как они были слишком стары и слишком медленны. Вперед выдвинулся метод конечных разностей, поскольку он позволял легко «дискретизировать» дифференциальные уравнения. В'§ 1.6 мы уже видели, как каждая производная заменяется соответствующим разностным выражением. Физическая область покрывается решеткой или «сеткой», в каждом узле которой строится уравнение, такое, например, как —Uj^1Jr2uJ—uj^l = h2fj. Математически задача сводится к системе Au = f, на разработку быстрых методов решения которой для случая больших размерностей и сильной разреженности матриц в основном были направлены усилия математиков-вычислителей в пятидесятые годы.
Но мы тогда не осознавали полностью, что для реальных задач техники, таких, как определение напряжений в узлах самолета или собственных частот человеческого мозга, метод конечных разностей невероятно усложняется. Основные трудности здесь возникают не при решении (разностных) уравнений, а при их построении. Для нерегулярных областей нужны нерегулярные сетки, одновременно содержащие треугольные, четырехугольные или четырехгранные ячейки, а также единообразные способы аппроксимации соответствующих физических законов. Иначе говоря, вычислительные машины должны помогать не только при решении дискретных задач, но и при их формулировке.
Можете себе представить, что произошло. Вернулись старые методы, но с новой идеей и новым названием. Новое название— метод конечных элементов, а новая идея сделала возможным использовать в большей степени мощности вычислительных машин (при построении дискретной аппроксимации, при решении полученных дискретных задач и графическом изображении результатов), чем любые другие способы научных вычислений *). Важно сохранить простоту математических идей, тогда можно усложнять приложения. Центр тяжести в этих приложениях переносится сейчас с задач конструирования самолетов на проблемы надежности ядерных реакторов, а в период написания книги шли ожесточенные дискуссии о применимости этого метода к динамике жидкостей. Для задач такого масштаба не обсуждается, однако, вопрос их стоимости, причем миллиард долларов, боюсь, пока является очень умеренной оценкой. Я надеюсь, что некоторым читателям будет достаточно интересно ознакомиться с методом
конечных элементов и попытаться извлечь из него серьезную пользу.
' Чтобы разъяснить сам метод, мы начнем с классического принципа Релея —Ритца, который потом дополним новой идеей конечных элементов. Мы будем иметь дело со старой задачей, т. е. с уравнением —«" = /(%) и старыми краевыми условиями и(0) = =и(1) = 0, которая ранее исследовалась с помощью конечных разностей. Разумеется, это «бесконечномерная» задача, где вектор b заменен функцией f, а матрица А—оператором—d'-dx2. Поэтому мы можем провести аналогию с матричными задачами, выписав квадратичную форму, которую требуется минимизировать, в виде (скалярные произведения заменяются интегралами!)
■1. 1
Р (у) = у утЛу—vTb = у уу (х) (— u'^x^dx— J у (х) f ^dx. (31) оо
Это выражение нужно минимизировать на множестве всех функций у, удовлетворяющих краевым условиям, и та функция, которая доставляет минимум, является решением и исходной задачи. Дифференциальное уравнение сведено к задаче минимизации, и нам только остается проинтегрировать один из членов Р (у) по частям:
11
У у (— у") dx = У (у')а — [уу']^. оо
Поскольку [yy']^Zj = O, получаем
11
Р^ = ^и'у_^.
Оо
Квадратичный член J (у')2 симметрический (аналогично форме хТАх) и положительный; поэтому существование минимума гарантированно.
Как найти этот минимум? Точное его нахождение эквивалентно точному решению дифференциального уравнения, которое является бесконечномерной задачей. Принцип Релея — Ритца заменяет эту задачу п-мерной введением п пробных функций u = Vn и = Уг, ... . .., у = К„. В классе всевозможных линейных комбинаций V = = У1^1(х)+ • • • А-УтУп^ вычисляется такая частная комбинация 1), которая минимизирует Р (К). Повторим сказанное: идея заключается в замене минимизации по всем возможным у минимизацией по подпространству и нахождении вместо и функции U, которая доставляет минимум формы Р (у) в этом подпространстве. Мы надеемся, что эти функции окажутся «близкими».
После замены и на V квадратичная форма принимает вид
1
W =4 У № +... + y„Vy - Г № +... + ynV„) h о о
Напомним, что функции V} выбраны заранее, а неизвестными являются веса У). Если из этих весов мы составим вектор у, то Р У^ точно совпадает с одной из квадратичных форм, которая нам уже встречалась:
PQ^=^yTAy-U4, (32)
где Aj^^V'iV'j—коэффициент при члене у^, а bj—^Vy—коэффициент при yj. Разумеется, можно найти минимум формы -^-уТАу—утЬ; это эквивалентно решению системы Ау — Ь. Таким образом, этапами метода Релея—Ритца являются: (i) выбор пробных функций Vj-; (ii) вычисление коэффициентов Л у и Ь/, (iii) решение системы Ау = Ь и (iv) построение приближенного решения U = у^ + ... УуУп.
Все зависит от этапа (i). Если функции Ку не будут чрезвычайно просты, то другие этапы в сущности окажутся неосуществимыми. Кроме того, если никакая комбинация Ку не будет достаточно хорошо приближать истинное решение и, то последующие этапы будут бесполезны. Таким образом, мы должны одновременно учитывать требования точности и вычислительной реализуемости метода. Ключевой идеей, которая сделала метод конечных элементов очень эффективным, явилось использование в качестве V} кусочно-полиномиальных функций.
Самыми простыми и наиболее широко используемыми являются кусочно-линейные функции. Сначала узлы сетки размещаются в точках xt = h, xt = 2h, ..., хп = nh (аналогично методу конечных разностей) и краевые условия требуют, чтобы в точках х, = 0 и xn+i = l каждая функция Ку обращалась в нуль. В качестве функций Ку выберем функцию в виде «крыши», которая равна единице в узле х^ и нулю в остальных узлах (рис. 6.6а).
Эти функции «концентрируются» в малых интервалах около соответствующих узлов и равны нулю на остальной части отрезка. «Любая комбинация у^ + • • • + У^п имеет значение у} в узле с таким же номером, поскольку другие функции Kft в этом узле равны нулю, в силу чего ее легко изобразить графически (рис. 6.6b). Это завершает этап (i).
На следующем этапе вычисляются коэффициенты А^ = ^ К,К), являющиеся элементами «матрицы жесткости» Л. Наклон К/функции Ку равен 1/А в малом интервале слева от Ху и — 1/А справа,
и если эти «сдвоенные интервалы» для функций V; и V'j не перекрываются, то произведение У'У] тождественно равно нулю. Но они перекрываются, только когда либо i = /", и тогда
либо когда t — / ± 1, и тогда
Следовательно, матрица жесткости оказывается трехдиагональной:
1
— 1
— 1
— 12
и в точности совпадает с матрицей А метода конечных разностей, что приводит к бесконечным дискуссиям о связях между этими двумя методами. Более сложные конечные элементы—полиномы более высоких степеней. Они определяются на интервалах для обыкновенных дифференциальных уравнений или на треугольниках и четырехугольниках для дифференциальных уравнений с частными производными и также приводят к разреженным матрицам А. Вы можете представлять себе метод конечных элементов как единообразный способ построения точных разностных уравнений на нерегулярных сетках, так что он лежит на «пересечении» методов Релея —Ритца и метода конечных разностей. Основным достоинством этого метода является простота кусочнополиномиальных функций, поскольку на каждом подынтервале их наклоны (производные) легко находятся и интегрируются.
Компоненты Ь, вектора правой части оказываются совершенно новыми. Вместо значения / в узле Ху, как в методе конечных разностей, берется специальное осреднение f в окрестности этого узла: 6y = ^Vyf. На этапе (iii) мы решаем систему Ау = Ь, решение которой дает коэффициенты минимизирующей пробной функции U = y1V1 + . .. +ynVn. Наконец, соединяя вершины у^ ломаной линией, мы получаем изображение приближенного решения U.
Отметим одно специальное свойство рассматриваемой частной задачи: U не просто близка к точному решению, но совпадает с ним в узлах сетки. Иначе говоря, U является линейной интерполяцией и. Нельзя ожидать, чтобы точное решение имело такой вид для достаточно сложных уравнений. Но ошибка U — и оказывается очень мала даже на грубой сетке. Соответствующая теория сходимости освещается в книге автора и Г. Фикса (М.: Мир, 1977). В ней также обсуждаются дифференциальные уравнения с частными производными, для которых рассматриваемый метод сохраняет свои достоинства.
Упражнение 6.5.1. Для /si решение уравнения —u" = f является параболой и — ^х—х2)/2. Вычислить коэффициенты Ь;=\ Vjf и показать, что точные значения t/z-= и (ху)'удовлетворяют системе метода конечных элементов Ау=Ь. ■
Упражнение 6.5.2. В случае А = 1 квадратичная форма имеет вид Р (у) — = "^ у^у—у^Ь и достигает минимума на векторе у=Ь.Доказать, что Р (у)—Р (Ь^ = -^-||У—61|2, и используя это равенство, объяснить, почему вектор, минимизирующий Р (у) на подпространстве пробных функций, является ближайшим к Ь. Принцип Релея—Ритца автоматически задает проекцию истинного решения на подпространство пробных функций.
ЗАДАЧИ НА СОБСТВЕННЫЕ ЗНАЧЕНИЯ
Идея Релея —Ритца осуществлять минимизацию на конечномерном семействе функций V вместо минимизации на всем пространстве так же полезна для задач на собственные значения, как и для стационарных уравнений. Теперь минимизируемым будет отношение Релея. Его точным минимумом является основная частота %п и его приближенный минимум At увеличится при переходе от всего пространства функций и к более узкому классу пробных функций Vv И снова построить дискретную задачу (применить практически сам принцип) можно, лишь если функции V} легко вычислимы. Таким образом, шаг, который был проделан за последние двадцать лет, был совершенно естествен и неминуем. Заключается он в применении идей нового метода
конечных элементов к вариационной формулировке задачи на собственные значения.
Наиболее распространенным и в то же время наиболее простым примером является задача
— и" = Хи, н(0) = и(1) = 0.(33)
Ее первое собственное значение X, = л2, и ему соответствует собственная функция w = sinnx. Эти значения и функция удовлетворяют уравнениям (33) и дают минимум отношения Релея
11
V (— у")(ч')2
у уг „f
гИ
оо
Физически это отношение потенциальной и кинетической энергий, которые сбалансированы на собственной функции. Эта собственная функция обычно неизвестна, и, чтобы вычислить ее приближенно, выберем в качестве допустимых только функции V = угУг+ + ■ ■ • + УтУп- В результате имеем
R^
Теперь перед нами встала задача минимизации отношения уТАу/УВу. Если матрица В единичная, то это приводит к стандартной задаче на собственные значения Ау = Ху. Но наша матрица В будет трехдиагональной, и, следовательно, мы приходим к обобщенной задаче на собственные значения (см. стр. 314). Минимальное значение Л! отношения Ry^ будет наименьшим собственным значением задачи Ау = ХВу, а соответствующий собственный вектор у дает возможность построить приближение U = уУТ + • - • + У^п к первой собственной функции исходной задачи. ■
Как и для стационарных задач, наш метод содержит четыре этапа: (i) выбираются функции Кд (ii) вычисляются матрицы А и В; (iii) решается задача Ау — ЬВу и (iv) выбирается AL и строится соответствующая функция U. Я не знаю, почему это стоит миллиард долларов.
Упражнение 6.5.3. Для кусочно-линейных функций V, и У2> соответствующих узлам х=Л=1/3 и х = 2А = 2/3, вычислить матрицу В порядка два. Сопоставить построенную дискретную задачу на собственные значения с задачей из упр. 6.3.6 и сравнить Л, с фактическим собственным значением М—л2.
Упражнение 6.5.4. Объяснить, почему из принципа минимакса следует неравенство Л25?Х2.
Глава 7
ВЫЧИСЛЕНИЯ С МАТРИЦАМИ
. ВВЕДЕНИЕ
Целью этой книги является рассмотрение некоторых прикладных разделов теории матриц. Излагаемая здесь теория принципиально ничем не отличается от стандартных курсов абстрактной линейной алгебры, но сейчас для нас самое главное, что рассматриваемая теория действительно важна для приложений. Разница состоит в том, что переместился центр тяжести в соответствии с новой точкой зрения. Метод исключения Гаусса — это теперь не только способ нахождения базиса пространства строк, а процесс Грама — Шмидта — не просто способ доказательства, что каждое подпространство имеет ортонормированный базис. Напротив, нам действительно нужны эти алгоритмы и нужно удобное описание (Я = LU или А = QR^ того, что они делают.
Настоящая глава осуществляет еще несколько шагов в этом направлении. Я полагаю, что они диктуются скорее вычислительной необходимостью, чем соображениями элегантности, но не знаю, следует ли мне извиняться за это. Они могут показаться очень поверхностными, но это неверно. Речь будет идти о старейших и важнейших задачах Ах = Ь и Ах = Хх, но каждая из них была по-настоящему понята только современным поколением математиков. В численном анализе существует своего рода естественный отбор идей и методов, и мы хотим описать некоторые из тех, которые выжили. Они делятся на три группы:
Методы решения системы Ах^Ь. Метод исключения Гаусса является идеальным алгоритмом, кроме, быть может, частных задач, имеющих особые свойства—такие свойства имеет почти каждая задача. Наше внимание будет сконцентрировано на свойстве разреженности, когда большинство элементов матрицы А равно нулю, и на развитии итерационных, а не прямых, методов решения системы Ах — b. Итерационный метод является «самокорректирующимся», и этот процесс коррекции повторяется многократно. При применении итерационного метода никогда не
достигается точный ответ, но цель состоит в другом — получить приближенное решение быстрее, чем при исключении. В некоторых случаях это можно сделать. Во многих других случаях исключение оказывается лучше и быстрее, если использовать разреженность матрицы. Эта «конкуренция» далека от разрешения, и наша первая цель — установить условия, которые при итерационном методе гарантируют сходимость к истинному решению А-Ч) и определяют ее скорость. В дальнейшем, в §7.4, мы применим эти условия к методу верхней релаксации и другим итерационным методам.
Методы решения задачи Ах = Хх. Задача на собственные значения является одним из примеров замечательных успехов численного анализа. Она четко поставлена, ее значение очевидно, но до недавнего времени никто не знал, как ее решать. Были предложены десятки алгоритмов, но их, конечно, нельзя расположить в строгом порядке, от наилучшего до самого наихудшего. Все зависит от размеров и свойств матрицы А и от числа собственных значений, которые мы хотим вычислить. Другими словами, опасно даже запрашивать в вычислительном центре подпрограммы вычисления собственных значений, не зная того, какой метод в них используется. (Конечно, я надеюсь, вам не надо проверять каждое фортрановское предложение в этих программах.) Прекрасная книга Уилкинсона и Райнша х) разъясняет целый ряд алгоритмов, и мы выбрали из нее две или три идеи, которые вытесняют почти все предшествующие: УД-алгоритм, класс «степенных методов» и преобразования, приводящие симметрическую матрицу к трехдиагональному виду.
Первые два метода итерационные, а последний — прямой; он реализуется за конечное число действий, но не вычисляет сам собственные значения, а только дает более простую матрицу для применения итераций,-
Число обусловленности матрицы. В §7.2 делается попытка оценить чувствительность, или «уязвимость» решения: если изменить немного А и Ь, то как сильно изменится решение х = А-ЧА Прежде чем заняться этим вопросом, мы хотим отметить одно препятствие (которое легко обойти). Должен существовать способ измерения возмущений 6А матрицы А и оценки размера матрицы Л. Длина вектора уже определена, и теперь нам необходима норма матрицы. Тогда число обусловленности, а с ним и чувствительность матрицы, будут выражены через нормы матриц А и Л-1.
!) J. М. Wilkinson, С. Reinsch, Handbook for Automatic Computation, Linear Algebra, Springer, New York and Berlin, 1971.
НОРМА И ЧИСЛО ОБУСЛОВЛЕННОСТИМАТРИЦЫ
Ошибки бывают разные, и следует различать небольшие ошибки (погрешности), возможно, неизбежные даже для идеального математика и идеальной вычислительной машины, и грубые ошибки, которые опаснее и по величине больше по крайней мере на порядок. Когда вычислительная машина округляет число до девятой значащей цифры, то это небольшая ошибка. Если же задача настолько чувствительна, что ошибка округления полностью изменяет решение, то почти наверняка где-то допущена грубая ошибка. Наша цель в этом разделе — проанализировать влияние ошибок так, чтобы грубых ошибок можно было избежать.
На самом деле мы продолжаем обсуждение, начатое в гл. 1,
матрицматрицА =А =[1[111.000111.0001ииА'=А'=0.0001 110.0001 111111
матриц
матриц
А =
А =
[1
[1
1
1.0001
1
1.0001
и
и
А'=
А'=
0.0001 11
0.0001 11
1
1
1
1
Мы утверждаем, что А' хорошо обусловлена и не особенно чувствительна к ошибкам округления — за исключением того случая, когда исключение Гаусса проводится неразумным образом и матрица становится крайне «уязвимой». Грубой ошибкой будет принять 0.0001 за первый ведущий элемент, поэтому мы должны добиться большего и более «надежного» ведущего элемента посредством перестановки строк матрицы А'. Когда «частичный выбор ведущего элемента» введен в алгоритм исключения, так что компьютер автоматически ищет наибольший ведущий элемент, то естественной сопротивляемости ошибкам округления уже ничто не угрожает.
Как мы можем измерить эту естественную сопротивляемость и определить, является матрица хорошо обусловленной или плохо обусловленной? Если имеется малое возмущение в 6 или в А, как велики изменения, возникающие в решении х?
Мы начнем с возмущения в правой части, от b до b + ^b. Эта ошибка может возникнуть из экспериментальных данных и из-за округления; мы можем предположить, что 6Ь мало, но его направления мы не знаем. Соответствующее решение изменится с х на х + 6х, т. е., вычитая Ах = Ь из А (х + 6х) = b + 66, получаем Л(6х) = 66. Это особенно простой случай; мы рассмотрим все возмущения 66 и оцениваем получаемое возмущение 6х=Л-166. Большие изменения в решении будут тогда, когда Л-1 велика (Л почти вырожденная), и особенно велики, когда вектор 66 имеет то направление, которое больше всего увеличивается матрицей Л-1.
Начнем с предположения, что матрица А симметрическая и что ее собственные значения положительны: 0 < Хх Х2 ^... ^ Х„.
Любой вектор 66 является комбинацией соответствующих единичных собственных векторов хИ ..., хп, и худшим возмущением будет ошибка в направлении первого собственного вектора хр.
если 66 = ехг, то 8х = ^. (1)
Погрешность правой части || 66|| увеличивается на множитель 1/Хп который является наибольшим собственным значением матрицы А-1 .Увеличение наибольшее, если ^ близко к нулю, так что матрицы, близкие к вырожденным, наиболее чувствительны.
У этой меры чувствительности есть лишь один изъян, но очень серьезный. Предположим, что мы умножим все элементы матрицы А на 1000; тогда Xt умножится на 1000 и кажется, что матрица стала менее вырожденной. Это оскорбляет наше чувство справедливости—такое простое масштабирование не может сделать плохо обусловленную матрицу хорошей. -
Верно, что 6х станет меньше в 1000 раз, но то же самое произойдет с решением х = Л-16 и относительная погрешность || 6х || /1| х || останется той же. Множитель ||х|| в знаменателе нормализует задачу по отношению к тривиальному изменению масштаба. В то же время имеется соответствующая нормализация для 66, и наша задача — сравнить относительное изменение 1,661|/|| 61| с относительной погрешностью ||6х|| /||х||.
Наихудший случай—это когда числитель Ц6х|) велик, т. е. возмущение ориентировано в направлении собственного вектора xv а знаменатель || х || мал (невозмущенное решение х оказывается очень мало в сравнении с невозмущенным 6). Это означает, что решение исходной задачи Ах = Ь лежит в другом экстремальном направлении — в направлении последнего собственного вектора хп:
если Ь = хп, то х = А-16 = Л. (2)
Приведенная комбинация ф = хп и 66 = 8^) делает относительную погрешность наибольшей. Экстремальные случаи описываются следующими неравенствами:
7А. Для положительно определенной матрицы решение х= А~Ч> и погрешность 8х = Л-166 всегда удовлетворяют неравенствам
ЦхЦ^Ш, ||6х||<-^. (3)
Поэтому для относительной погрешности справедлива оценка
IM И ь II •
Величина с = = называется числом об^словлен- пости матрицы А.
Пример 1. Собственные значения матрицы
Л = Ч 11
.1 1.0001
приблизительно равны К1=10-4/2 и Х2 = 2. Поэтому число обусловленности матрицы Л примерно равно с = 4-104, и мы должны ожидать сильного изменения решения при некоторых очень обычных изменениях начальных данных. На стр. 48 мы сравнили уравнения Ах — b и Ах'=Ь':
и -4-и=== 2,и 4- и == 2,
и
и + 1,0001и = 2.0001/ +1,000k' = 2.0002.
Решение изменяется с х = (1, 1) до х' = (0, 2):
||х'—х||_||(—1, 1)(|_ 1|| 6'-6 II _ 11(0, 0.0001)1]10~4
lixfl 11(1,1)11 b ||6||1(2,2.0001)11^2/2'
Относительное увеличение равно |j6x|j/||xj|~ 2^2 104||66||/||6||. Мы здесь не выбирали возмущение специальным образом (наше 6Ь составляет угол 45° с собственным вектором xt, что и объясняет разницу в /2 между нашим множителем и наихудшим возможным увеличением с=4-104) и тем не менее обнаруживаем громадные изменения в решении.
Отметим, что размер матрицы на число обусловленности прямого влияния не оказывает; если Л = / или даже Л = //10, то с= ^maxAmin^ 1 • Для сравнения, определитель— очень плохой показатель плохой обусловленности, потому что зависит не только от масштабирования, но и от порядка п; если Л = //10, то ее определитель равен 10 ~”. На самом же деле эта «почти вырожденная матрица» так хорошо обусловлена, как это только возможно.
Пример 2. Рассмотрим конечно-разностную матрицу
А =
“2-1'
— 12 —1
— 12.
. . —1 _—1 2_
порядка п.
Приблизительно ее наибольшее собственное число Х„ = 4, а наименьшее ^ = гА/п2. Поэтому число обусловленности приблизительно равно с = и2/2, в данном случае имеется фактическая зависимость от п. Мы лучше аппроксимируем задачу — u“=f, увеличивая число неизвестных, но труднее становится вычислить
приближенное решение. Это делается не только дольше, но и наблюдается большее воздействие ошибок округления. С некоторого момента увеличение п фактически приводит к ухудшению ответа.-
К счастью для инженеров, этот момент наступает тогда, когда точность уже достаточно хороша. Работая с обыкновенной точностью, обычная вычислительная машина может делать ошибки округления порядка 10-s. Если приближенное решение ищется для значения п =100, т. е. с = 5000, то такая погрешность возрастает самое большее до порядка 10~5, т. е. точность получается выше, чем при любом обычном измерении. Но при 10 000 неизвестных или при рассмотрении конечно-разностной аппроксимации уравнений более высокого порядка, таких, как d4u/dx4= = f(x), для которых число обусловленности растет как п4, есть причины для беспокойства г\
Наш анализ до сих пор применялся исключительно к симметрическим матрицам с положительными собственными значениями. Мы легко могли бы отбросить предположение о положительности и использовать абсолютные значения X,., числом обусловленности тогда стала бы величина с = max | Х; | / min | %f |. Но для того чтобы обойтись без условия симметричности, что нам бы хотелось сделать, нужны более существенные изменения. Легко видеть, что для матриц
« Г 100] . , 1 —1001
Л = и Л-1 = (5) 0 1 0 1
все собственные значения равны единице, но совершенно непра
вильно, что относительное изменение х ограничено относительным изменением b— число обусловленности не равно Xmax/Amin = 1- Сравним решения
когдакогда1001 .1 ’1001 .1 ’100]100]когда Ь' =когда Ь' =
когда
когда
1001 .
1 ’
1001 .
1 ’
100]
100]
когда Ь' =
когда Ь' =
Изменение на 1% в 6 вызывает изменения порядка сотен в х; множитель увеличения равен 100. Так как с представляет собой верхнюю границу этого увеличения, эта константа должна быть не менее 10 000. Плохим свойством таких матриц является то, что большие внедиагональные элементы в Л означают существование таких же больших элементов в Л-1— это противоречит нашим интуитивным ощущениям, что Л-1 должна была бы становиться меньше, если Л становится больше.
Чтобы дать подходящее определение числа. обусловленности, мы снова обратимся к уравнению (3). Из него следует, что Я„— это наибольшее из возможных значений отношения ||Ь|| к ||х||; мы пытались сделать х маленьким, а Ь = Ах большим. (Экстремальный случай имеет место на собственном векторе хп, когда отношение || Ах || к ||х|| точно равно Хп). Единственное отличие в случае, когда матрица А уже не симметрическая, состоит в том, что максимум (| Ах || / ||х}| может находиться на векторе х, который уже не является ни одним из собственных векторов. Этот максимум все еще является прекрасной мерой «величины» матрицы А. Он называется нормой матрицы А и обозначается через ||А||.
7В. Нормой матрицы А называется число, определяемое соотношением • .
<6>
Другими словами, ||А|| ограничивает «степень возрастания» при умножении на матрицу А:
|| Ах || ^|| А |||| х|| для всех векторов х, (7) причем равенство достигается по крайней мере на одном ненулевом векторе х.
Матрицы А и А-1 из (5) имеют нормы, лежащие между 100 и 101. Через некоторое время мы сможем посчитать их точно, но сначала мы хотим установить связь между нормами и числами обусловленности. Так как Ь = Ах и дх = А-1дЬ, непосредственно из определения (7) мы получаем, что
ЦН^АЦИ и ПёхКВА-ИЦббЦ. (8)
Это очевидная замена (3), когда А — несимметрическая матрица. В симметрическом случае || А ,| есть не что иное, как Я„, а ||А-1|| — не что иное, как 1/\. Поэтому очевидной заменой для ХД^ является произведение ||А |||| А-1||.
7С. Числом обусловленности матрицы А называется величина с = || А |||| А-11|, и относительная погрешность удовлетво
ряет неравенству
(9)(9)Ь, то(Ю)Ь, то(Ю)RII
(9)
(9)
Ь, то
(Ю)
Ь, то
(Ю)
Ml НИ 1
Если мы возмутимЕсли мы возмутимматрицу А, а не правую часть
Если мы возмутим
Если мы возмутим
IIW „ ||6А IIМ + ИМ ||Д|| •
Неравенство (9) верно для любых 6 и 66, и оно является результатом двух неравенств (8). Замечательно то, что то же самое
число обусловленности появилось в (10), когда матрица сама возмущена. Если Ах = Ь и (А 4-6А) (хД-6х) = 1>, то, вычитая одно из другого, получим
Л6х + 6Л (х + 6х) = 0, или 6х =— Л-1(6Л)(х + 6х).
Умножение на 6Л увеличивает норму вектора не больше чем в ])6Л |] раз, но тогда умножение на Л-1 увеличивает ее не более чем в || Л-1раз. Поэтому
||6х|| ^|| Л-11|||6Л У||х + 6х||,
или
-ЛМ-^||А-1||||6А|| = с№.
||Д||
Эти неравенства означают, что ошибка округления возникает из двух источников: первая — естественная чувствительность задачи, которая измеряется числом обусловленности с; и вторая — фактические погрешности 66 или 6Л, которые вносят вклад в ее решение. Приведенные рассуждения послужили Уилкинсону базисом для анализа погрешностей. Так как алгоритм исключения фактически дает приближенные множители L' и U', то он вместо задачи с исходной матрицей A = LU решает уравнение с ошибочной матрицей А +6Л = L'U'. Уилкинсон доказал, что частичный выбор ведущего элемента обеспечивает контроль над 6Л (см. его книгу «Rounding Errors in Algebraic Processes»). Итак, полная ошибка из-за ошибок округления определяется числом обусловленности с.
Упражнение 7.2.1. Пусть А является ортогональной матрицей Q. Показать, что || Q 11=1 и c(Q) = l. Ортогональные матрицы (и матрицы вида aQ) прекрасно обусловлены.
Упражнение 7.2.2. Из какого «знаменитого» неравенства вытекает неравенство || (Д-|-В) х || <|| Дх|| +1| Вх|| и почему из (6) следует, что ||Д + В||< <||Д|1 + ||В||?
Упражнение 7.2.3. Объяснить, почему ||ДВх||<|| А |||| В |||| х||, и вывести из (6), что || АВ |] <|| А |||| В ||. Показать, что отсюда также следует неравенство с (ДВ) < с (Д)-с (В).
Упражнение 7.2.4. Для положительно определенной матрицы А = ^_^ * вычислить || Д-11|= l/X^ ||Д|| = Х2 и с (A) = Xy%v Подобрать правую часть b и возмущения 6Ь, такие, чтобы погрешность решения была наихудшей, т. е. ||6х||/||х|| = с||66||/||6||.
Упражнение 7.2.5. Показать, что если X — произвольное собственное значение матрицы Д, Дх = Хх, то | X | <|| Д ||..
ФОРМУЛА ДЛЯ НОРМЫ
Норма матрицы А измеряет величину наибольшего изменения векторов (собственных или нет) при умножении их на эту матрицу: 1| А || = max (J] Лх|| / ||х||). Норма единичной матрицы равна 1. Для того чтобы вычислить этот «увеличивающий множитель» в общем случае, возведем в квадрат обе части определяющего норму соотношения:
Л 2= max = шах—=—.(11)
“||х||2хТ Xv '
Полученные соотношения возвращают нас к симметрической матрице ЛТЛ и ее «отношению Релея».
7D. Норма матрицы А равна квадратному корню из наибольшего собственного значения матрицы ЛТЛ: ||Л^ = = Хтах(ЛтЛ). В случае когда А симметрическая, ЛТЛ = Л2 и, следовательно, норма равна наибольшему по модулю собственному значению матрицы А: || А || = max | Х£ |. В любом случае вектор, который увеличивается максимальным образом, является соответствующим собственным вектором матрицы ЛТЛ:
хТАТАх _ хЧ^цахД) _ ^= || Л 112
хТхх"Гх таХ "■
Замечание 1. Норма и число обусловленности матрицы А в практических задачах фактически не вычисляются, а только оцениваются. У нас нет возможности решать задачу на собственные значения для вычисления Хтах(ЛтЛ).
Замечание 2. Число обусловленности объясняет, почему нормальные уравнения АтАх = АТЬ так трудно решать методом наименьших квадратов: число обусловленности с(ЛтЛ) является квадратом с (Л). Формируя ЛТЛ, можно превратить хорошую задачу в плохую, и гораздо лучше (исключая очень маленькие задачи) использовать сразу либо процесс Грама — Шмидта, либо сингулярное разложение A=Q1SQJ.
Замечание 3. Элементы аг диагональной матрицы S называются сингулярными числами матрицы Л, и по построению (см. стр. 171) их квадраты являются собственными значениями матрицы ЛТЛ. Поэтому другой формулой для нормы будет || Л Д = — птах. В соотношении || Ах|| = ||Q^Q^x|| ортогональные матрицы Qt и Q2 не изменяют длины векторов и, следовательно, наибольший увеличивающий множитель равен наибольшему а.
Замечание 4. Погрешности округления возникают не только при решении задачи Ах = Ь, но и задачи Ах = Хх. Поэтому возни-
кает новый вопрос: что такое «число обусловленности для задач на собственные значения»? Очевидный ответ неверен — это не число обусловленности самой матрицы А. Чувствительность собственных значений измеряется числом обусловленности диагонали- зующей матрицы S. Если ц—собственное значение матрицы А+Е, то расстояние от него до какого-нибудь собственного значения матрицы А равно
|p-X|^||S||||S-1lH|E!| = c(S)||E||. (12)
В случае когда S—ортогональная матрица Q, задача на собственные значения прекрасно обусловлена (c(Q)=l) и изменение р—л собственных значений не больше, чем возмущение Е матрицы А. Это происходит тогда, когда собственные векторы А образуют ортонормированную систему — они являются столбцами матрицы S. Поэтому наилучшим является случай, когда А симметрическая или, более общо, когда Л-ЛТ = ДТ-Л, т. е. когда А — нормальная матрица и диагонализующая ее матрица S является ортогональной матрицей Q (см. разд. 5.6). Собственные числа нормальной матрицы прекрасно обусловлены. Нетрудно выяснить, как матрица S присутствует в формуле для возмущений для отдельного собственного значения: если хк является й-м столбцом S, а ук является й-й строкой S-1, то
р.к — 'Кк = укЕхк-\-члены порядка ||Е)|2. (13)
В практике укЕхк достаточно правильно оценивает изменение собственных значений, и в каждом хорошем алгоритме стремятся оставлять матрицу погрешностей Е столь малой, насколько это возможно, обычно требуя (как в Q/^-алгоритме, который будет описан в следующем разделе) ортогональности матрицы на каждом шаге итераций.
Упражнение 7.2.6. Найти точные нормы матриц (5).
Упражнение 7.2.7. Для матрицы А из упр. 5.6.3 показать, сравнивая собственные значения матриц А^ А и ААТ, что |] Л || = || Лт||.
Упражнение 7.2.8. Для положительно определенной матрицы А разложение Холецкого имеет вид A =LDlA = 1ГТ1Г, где IT = У DLV. Показать, непосредственно используя 7D, что число обусловленности матрицы W равно корню квадратному из числа обусловленности матрицы А. Отсюда следует, что алгоритм Гаусса для положительно определенных матриц не требует перестановки строк. Обусловленность не ухудшается, так как с(Л)=с (И^Т) с(1Г).
Упражнение 7.2.9. Построив с помощью матриц порядка 2 контрпримеры к неравенствам Хтах (Л + й)^Хтах (Л)4-Хтах (S),Xmax (ЛД)<Хтах(Л)Хтах (S), показать, что наибольшее собственное значение, вообще говоря, не годится в качестве нормы. "
Упражнение 7.2.10. Предположим, что под обозначением || х [| понимается не евклидова норма V(xi + ... + х^), а «максимальная норма», или «Ью-норма», || х jU = max | Xi | (пример: ||(1, —2, 1)|| = 2). Вычислить соответствующую матричную норму
д = П 2]3 —4д = П 2]3 —4II A |U = max !—_- = maxесли
д = П 2]3 —4
д = П 2]3 —4
1 X^O ЦхЦ» xz=±i '
ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ЗНАЧЕНИЙ
Невозможно указать наилучший способ нахождения собственных значений матрицы. Однако существует несколько ужасных методов, которые никогда не следует применять, и несколько идей, которые следует использовать постоянно. Мы начнем обсуждение с одного очень грубого, но простого подхода, называемого степенным методом, свойства сходимости которого очень легко выявить. Затем мы изучим более сложный алгоритм, который начинается с приведения симметрической матрицы к трехдиагональной и заканчивается практически приведением к диагональному виду. Этот последний шаг реализуется при помощи процесса Грама—Шмидта, а весь метод известен как Q^-алгоритм.
Обычный степенной метод реализуется точно по принципу разностных уравнений. Выбирается начальный вектор и0, а затем последовательно строятся векторы иг = Аи0, и2 = Aut и в общем случае ик+1 = Аик. Каждый шаг представляет собой умножение вектора на матрицу, в результате чего через k шагов получаем ик= Аки0, хотя матрица Ак нигде не используется. В самом деле, важно, чтобы умножение на А осуществлялось очень просто (если матрица большого порядка, ее лучше разредить), потому что сходимость к собственному вектору часто очень медленная. Если предположить, что А имеет полный набор собственных векторов хр . .., х„, то вектор ик будет иметь обычное для разностных уравнений разложение
ик = С1ХкХ1 . . . + С^п^п- (14)
Предположим, что собственные значения пронумерованы в возрастающем порядке и что наибольшее собственное значение единственно, т. е. нет другого собственного значения с таким же модулем и кратность Хп равна 1, т. е. | ^ | ^ . . . ^| Хп-1| < <|ХЛ|. Тогда если начальное приближение и0 содержит в качестве компоненты собственный вектор хп с коэффициентом сп =А= 0, то эта компонента постепенно становится доминирующей:
"^=С1(Й)"Х1+,"+с"-1 ^^^ хп-хА-спхп. (15)
Вектор ик все более и более приближается к направлению хП, и множителем, характеризующим сходимость, будет отношение г == | Х^1 /1 Хп |. Это напоминает сходимость к стационарному состоянию, которую мы изучали для марковских процессов, с тем отличием, что теперь наибольшее собственное значение ХП может не равняться единице. В самом деле, мы не знаем масштабирующего множителя X* в (15), но и некоторый масштабирующий множитель необходимо ввести, так как в противном случае ик может стать очень большим или очень маленьким, в зависимости от того, будет ли | Хп | > 1 или | Хп | < 1. Обычно мы можем просто делить каждый вектор ик на его первую компоненту ак перед тем, как сделать следующий шаг. С этим простым масштабированием степенной метод выглядит следующим образом: ик^х = Аик!ак и он сходится к кратному вектора хпг).
"0.667" .0.333 '"0.667" .0.333 'Пример о Калифорнии (см. выше) с собственным значением
"0.667" .
0.333 '
"0.667" .
0.333 '
0.9 0.2'0.1 0.80.9 0.2'0.1 0.8единица и собственным вектором
0.9 0.2'
0.1 0.8
0.9 0.2'
0.1 0.8
населения;ГО.747, «4 =0.253населения;ГО.747, «4 =0.253была матрицей перемещения
населения;
ГО.747
, «4 =
0.253
населения;
ГО.747
, «4 =
0.253
0.91[0.831_ 0.781"
0.1L0.17J[0.219
Основные недостатки метода ясно видны из этого примера. Если г близко к 1, то сходимость очень медленная. Во многих приложениях г > 0.9, и это означает, что необходимо более 20 итераций, чтобы изменить Q.^ в Ю раз. (В нашем примере г = = 0.7, но сходимость тем не менее медленная). Конечно, если г = 1, что означает | Хп_х | = | Хп |, то сходимости может вообще не быть. Есть много путей для того, чтобы обойти это препятствие, и мы опишем три из них:
Блочный степенной метод работает с несколькими векторами одновременно вместо одного вектора ик. Если мы начнем с р ортонормированных векторов, умножим их все на Л и затем применим к ним ортогонализацию Грама — Шмидта (это единичный шаг метода), то в результате отношением, характеризующим сходимость процесса, станет величина г' = | Хп_р | / |ХП |. Более того, мы одновременно получим приближения к р различным собственным значениям и соответствующим им собственным векторам.
Обратный степенной метод работает с Л-1 вместо А. Единичный шаг процесса имеет вид ик+1 = А-1ик, и это означает, что
2) Масштабирующие множители ак будут также сходиться, приближаясь к величине Хп.
мы решаем линейную систему Лий+1 = и6 (и сохраняем множители L и U'.y В данном случае теория гарантирует сходимость к наименьшему собственному значению, если множитель г" = | Ат |/| А2|, характеризующий сходимость, будет меньше 1. В приложениях часто требуется найти наименьшее собственное значение, и тогда автоматически выбирается обратный степенной метод.
Обратный степенной метод со сдвигом является наилучшим из всех. Предположим, что А заменена на А—а/. Тогда все собственные значения Az сдвигаются на эту же величину а и множитель, характеризующий сходимость для обратного метода, становится равным г'" = |Л1—сс|/| Х2—а|. Поэтому, если а выбрано так, что оно является хорошей аппроксимацией для Хп то г"' будет очень маленьким и сходимость неизмеримо ускоряется. Каждый шаг метода состоит в решении системы (Л—а/)ю6 + 1 = wk, и этому разностному уравнению удовлетворяет
■ ^1Л1।^2-^2।iСпХп
к (Ai—а)(Л2 —а)А(А„ —а)*
Если а близко к А^ то знаменатель первого члена этого представления будет близок к нулю и, следовательно, потребуется только один или два шага, чтобы сделать первый член полностью доминирующим. В частности, если Xt уже вычислено с помощью другого алгоритма (например, QR\ то в качестве а можно взять это вычисленное значение. Стандартная процедура состоит в разложении А—а/ в произведение LU :) и решении системы Uxt = = (1, 1, ..., 1)т путем обратной подстановки.
Если для Ах еще не получено приближение при помощи независимого алгоритма, то степенной метод со сдвигом должен сам производить выбор а или (так как мы можем, если хотим, менять сдвиг на каждом шаге) он должен выбирать аА, входящее в соотношении (Л—a,kJ)wk+1 = wk. Простейшая возможность состоит в том, чтобы просто работать с масштабирующим множителем, который приводит wk к приемлемым размерам. Существуют, однако, и другие, лучшие приемы. В симметрическом случае А = АТ наилучшим выбором, по-видимому, является отношение Релея
«I АикаА = /?(иА) = -^.
Мы уже знаем, что это отношение достигает минимума на собственном векторе: производные R равны нулю, его график представляет собой дно параболы. Поэтому погрешность Х—а.к собственного значения приблизительно равна квадрату погрешности собственного вектора. Множитель сходимости г'" = = 1^—ак |/| Х2—ак | изменяется на каждом шаге и в действительности стремится к нулю. Окончательным результатом при выборе в качестве сдвига отношения Релея является кубическая сходимость1) ак к Xt.
с собственными значенис собственными значениУпражнение 7.3.1. Для матрицы Л =
с собственными значени
с собственными значени
ями X, — 1 и Х2=3 проделать три итерации степенного метода и^^^ Аи-К с начальным приближением ий =. Каким будет предельный вектор и^
Упражнение 7.3.2. Для этой же матрицы АУпражнение 7.3.2. Для этой же матрицы Аи начальногои начальногоприближенияприближения
Упражнение 7.3.2. Для этой же матрицы А
Упражнение 7.3.2. Для этой же матрицы А
и начального
и начального
приближения
приближения
сравнить результаты:
трех шагов обратного степенного метода
1212«к;«к;л 11 Г2
1
2
1
2
«к;
«к;
Uk*i = A ик = "з
одного шага ut = (Л— а/)-1 и0 обратного степенного метода со сдвигом, где a = UoAuo/uoUo.
Теперь предельный вектор «„ будет кратным другому собственному вектору (1, 1) матрицы А.
ТРЕХДИАГОНАЛЬНАЯ И ХЕССЕНБЕРГОВА ФОРМЫ МАТРИЦЫ
Степенной метод рекомендуется только для сильно разреженных матриц большого размера. Когда большинство элементов матрицы ненулевые, то применять степенной метод невыгодно. Поэтому возникает вопрос, существует ли простой прием получения нулей в матрице? Ответ на него будет основной целью этого раздела.
Заметим сначала, что после нахождения подобной матрицы U-1AU с большим количеством нулей, чем в А, мы не предполагаем возвращаться к степенному методу. Существуют более сложные разновидности и лучшей из них, по-видимому, будет QK-алгоритм. (Обратный степенной метод со сдвигом, однако,
применяется в самом конце для нахождения собственных векторов.) В любом случае первый шаг состоит в получении у матрицы как можно большего количества нулевых элементов и осуществления этого по возможности наиболее быстрым способом. Наше ограничение на скорость состоит только в том, что мы будем использовать лишь унитарные (или ортогональные) преобразования, которые сохраняют симметричность и длину. Иначе говоря, если А— симметрическая матрица, то симметрической будет и матрица U-1AU и ни один ее элемент не становится опасно большим.
Есть по крайней мере две возможности преобразовать А в LMAU: либо мы получаем один нуль на каждом шаге (как в исключении Гаусса), либо мы можем работать с целыми столбцами. Для получения одного нуля достаточно использовать вращение плоскости, как это показано ниже в формуле (21). Матрица вращения имеет блок порядка 2, в котором стоят cos 6 и sin9. Аналогично мы поступаем со всеми элементами, стоящими ниже диагонали, выбирая на каждом шаге угол вращения 0 так, чтобы получить нуль. Это основной принцип метода Якоби.
К сожалению, мы не в состоянии диагонализовать А за конечное число вращений, так как нули, полученные на более ранних шагах, исчезнут на последующих.
Для того чтобы сохранить эти полученные нули, мы должны ограничиться приведением матрицы к почти треугольной форме, сохраняя одну ненулевую диагональ ниже главной диагонали. Это так называемая форма Хессенберга. Если матрица симметрическая, то верхний треугольник является зеркальным отражением нижнего треугольника этой матрицы и, следовательно, матрица будет трехдиагональной.
Обе эти формы получаются с помощью серии вращений в соответствующих плоскостях, но Хаусхолдер нашел новый способ решения той же задачи. Его идея дает «подготовительный шаг» для ОД-алгоритма1).
Преобразование Хаусхолдера, или элементарное отражение, осуществляет матрица вида
Часто и нормируют и используют вектор единичной длины u=u/)] v |]. Тогда Н записывается в виде / — 2uuT. В обоих случаях Н— симметрическая и ортогональная матрица:
Н^Н = (/ — 2имт) (/ — 2пмт) = / — 4ии + 4ииТиит = /,
и, следовательно, Н = НТ = Н~х. В комплексном случае соответствующая матрица / — 2иин эрмитова и унитарна. Метод Хаусхолдера позволяет получать нули с помощью этих матриц и существенно опирается на следующее тождество.
Il 7Е. Предположим, что г—это вектор-столбец (1, О, ..., 0)т, о = ||х]| и и = х + ог. Тогда Нх ——аг = (—а, 0, ..., 0)т.
Доказательство.
II у II2 ( + Дх + огД^ + ог)
(16)(16)= х—(хф-ог) (так как хтх = о2) =— az.
(16)
(16)
Это тождество может быть сразу же использовано. Мы начнем с первого столбца А и будем помнить, что в результате должны получить трехдиагональную форму или форму Хессенберга U^AU матрицы А. Поэтому сейчас мы рассмотрим только п — 1 элементов ниже диагонали:
х=
'ОД' ^31
,Z =
Г1"
0
, Нх =
о
0
■(17)
.6 _
. 0_
В данном случае матрица Хаусхолдера Н порядка только п—1, и поэтому она вкладывается в нижний правый угол матрицы Uv полного порядка. Итак,
"1 0 0 0 0"
аИ * * * *
0
—а * * * *
иг =
0Н
= U;X, и U^AU^
0 * * * *
0
0 * * •:<■ *
_о_
0 * * * *
Так
как в левом верхнем углу стоит 1, матрица IT оставляет
элемент цп неизменным и, что более важно, не трогает нулей, которые появляются в (17). Поэтому первый этап полностью завершен, т. е. матрица П^АЩ имеет требуемый первый столбец.
Второй этап аналогичен первому: х состоит из последних п— 2 элементов второго столбца, г — единичный вектор соответствующей размерности и Н2— матрица порядка п— 2. Если мы ее вложим в Ua, то в результате получим
'1 0 0 0 0"0 10 0 0иг =0 00 0 нг10 0'1 0 0 0 0"0 10 0 0иг =0 00 0 нг10 0U^U^AU^ U2 =U^U^AU^ U2 =* * * * * ।* * * * * ।я о о оя о о о** о о** о о*************j*j
'1 0 0 0 0"
0 10 0 0
иг =
0 0
0 0 нг
1
0 0
'1 0 0 0 0"
0 10 0 0
иг =
0 0
0 0 нг
1
0 0
U^U^AU^ U2 =
U^U^AU^ U2 =
* * * * * ।
* * * * * ।
я о о о
я о о о
*
* о о
*
* о о
*
*
*
*
*
*
*
*
*
*
*
*
*j
*j
Наконец, U3 преобразовывает третий столбец, и мы получаем форму Хессенберга для матрицы порядка 5. В общем случае U является произведением всех матриц U\иг ... Un_3 и количество операций, требующихся для ее вычисления, является величиной порядка п3. '
А ="1011, Л ="0"*0111110.А ="1011, Л ="0"*0111110.Пример.Пример.у =у =1111Н =Н =О — Г— 1 оО — Г— 1 о
А =
"1
0
11
, Л =
"0"
*
0
1
1
1
1
1
0.
А =
"1
0
11
, Л =
"0"
*
0
1
1
1
1
1
0.
Пример.
Пример.
у =
у =
1
1
1
1
Н =
Н =
О — Г
— 1 о
О — Г
— 1 о
Вкладывая Н в U, получаем трехдиагональную матрицу
и =
"10 О’
00—1
-0 —10.
, IMAD-
" 1-10’
— 10 1
_ 01 1_
•
Матрица U-1AU имеет удобный вид для нахождения собственных значений; здесь можно применить (^-алгоритм, но мы позволим себе небольшое отступление, чтобы обратить внимание на другие применения преобразования Хаусхолдера.
Разложение A = QR. Мы дадим краткое описание процесса Грама — Шмидта из гл. 3, излагая его более просто и более четко. Напомним, что через R обозначается верхняя треугольная матрица (мы уже не должны допускать существование ненулевой диагонали ниже главной, так как у нас теперь не будет множителей U или Н справа (как в преобразовании U-1AU>), «портящих» уже полученные нули). Итак, на первом шаге построения Q мы имеем дело со всем первым столбцом матрицы А:
y = x + hh, ^ = /-2^.y = x + hh, ^ = /-2^.
y = x + hh, ^ = /-2^.
y = x + hh, ^ = /-2^.
При этом первый столбец матрицы НгА будет как раз таким, как нам надо: он равен —ЦхЦгг, элементы, расположенные под главной диагональю, равны нулю и это первый столбец R. Второй шаг осуществляет преобразование второго столбца матрицы HYA от диагонального элемента и ниже. В результате получаем матрицу HJRA, у которой все элементы второго столбца ниже диагонального равны нулю. (Весь алгоритм очень похож на метод исключения Гаусса, и на самом деле это несколько более медленный его вариант.) Результатом п — 1 шага снова будет верхняя треугольная матрица R, но матрица, осуществляющая шаги, не будет нижней треугольной L. Напротив, эта матрица ортого-
нальна и имеет вид Q = НtH2.. ,Hn_v Ее можно хранить как последовательность сомножителей и не вычислять в явном виде. Этим заканчивается описание процесса Грама—Шмидта.
Сингулярное разложение QJAQ2 = Z. На стр. 170 это разложение немедленно давало для любой задачи оптимальное решение х по методу наименьших квадратов. Напомним, что 2—диагональная матрица того же порядка, что и А, и что ее элементы (сингулярные числа р) являются собственными значениями матрицы АТА. Поскольку преобразования Хаусхолдера позволяют только подготовить матрицу для решения задачи на собственные значения, но не решают эту задачу, мы не можем надеяться, что их использование дает нам матрицу 2. Вместо этого они позволяют построить двухдиагональную матрицу с нулями везде, кроме главной диагонали и одной диагонали выше нее. Конечно, этот процесс численно устойчив, так как матрицы Н
ортогональны.
Первый шаг процесса такой же, как и в описанном выше (Ш-разложении: в качестве х выбирается первый столбец А, и тогда все элементы первого столбца HVA, расположенные ниже диагонального элемента, равны нулю. Следующий шаг состоит в умножении HYA справа на матрицу Нт, которая зануляет элементы первой строки:
* * * *
* * 0 СП
А НХА =
0 * * *
0 * * *_
HYAHW =
0 * * * .(18)
о * *
Второе преобразование Хаусхолдера дает
* * 0 0
Г* * 0 0'
Н,НгАН^ =
0 * * *
и Н2НХАН^Н^ =
0**0
О 0 * *_
0 0 * *_
В результате получаем ту двухдиагональную форму, о которой говорили. Итак, мы проиллюстрировали снова, как можно быстро получить нули на нужных местах при помощи преобразований Хаусхолдера.
Упражнение 7.3.3. Показать, что для любых двух различных векторов х, у одинаковой длины || х || = ||у|| выбор и = х — у приводит к преобразованию Хаусхолдера, такому, что Нх=у и Ну = х.
Упражнение 7.3.4. Длях=Упражнение 7.3.4. Длях=ии
Упражнение 7.3.4. Для
х=
Упражнение 7.3.4. Для
х=
и
и
вычислить о = 11хЦ, v = x4-oz и соответствующую матрицу Хаусхолдера И, Проверить, что Нх= — az.
найти трехдиагональную матрицунайти трехдиагональную матрицуУпражнение 7.3.5. Используя 7.3.4, U-1AU для матрицы
найти трехдиагональную матрицу
найти трехдиагональную матрицу
А =А ="134"1343 4"
А =
А =
"1
3
4
"1
3
4
1 0
О О
ф/?-АЛГОРИТМ
Этот алгоритм почти мистически прост. Он начинается с матрицы Ло, которая разлагается по Граму— Шмидту в произведение Q6R0, а затем меняются местами сомножители: A1 = R0Q0. Эта матрица подобна начальной, Q„ M0Q0 = Qy1 (Qo^o) Qo = A- Этот процесс продолжается, причем собственные значения не изменяются:
Afc — Qk^k 11Ak + 1 = RkQk.(19)
Эта формула описывает QR-алгоритм без сдвигов, и при довольно общих предположениях он сходится: Ак сходятся к треугольной матрице, и, следовательно, их диагональные элементы стремятся к ее собственным значениям, которые в свою очередь являются собственными значениями исходной матрицы ЯД).
Установлено, что рассмотренный алгоритм хорош, ноне очень. Для того чтобы сделать его лучше, надо ввести два усовершенствования: а) мы должны использовать сдвиги и (Ь) должны быть уверены, что УД-разложение на каждом шаге производится очень быстро.•
Алгоритм со сдвигом. Если число ак близко к собственному значению, то шаг (19) немедленно заменяется на следующий:
Ak—a.kI = QkRk и затем = RkQk-^^kI. (20)
Такой переход не меняет собственных значений, так как Ак+1 подобна Ак:
Q^A^/g = QA (QkRk + aki) Qk = Ak+V
На практике оказывается, что элемент в позиции (п, п) матрицы Ак (в нижнем правом углу) является первым приближением для собственного значения. Поэтому этот элемент используется в качестве простейшего и наиболее популярного выбора величины сдвига ак. Обычно такой подход дает квадратичную сходимость, а в симметрическом случае — кубическую сходимость к наименьшему собственному значению. После, вероятно, трех-четырех
Э Л0 является матрицей, с которой начинается QR-алгоритм. Если она уже сама получена при помощи преобразований Хаусхолдера, которые привели ее к трехдиагональному виду, то Ло связана с начальной матрицей А равенством U-1AU = Ао.
шагов алгоритма со сдвигом матрица Ак выглядит примерно так:
О 0 8О 0 8* * ** * *О * ** * ** * *О * *сс8^ 1.8^ 1.
О 0 8
О 0 8
* * *
* * *
О * *
* * *
* * *
О * *
с
с
8^ 1.
8^ 1.
Мы предполагаем, что вычисленное ^ — очень близкое приближение к искомому числу Zj. Для того чтобы найти следующее собственное значение, Q/t-алгоритм продолжают с меньшей матрицей (порядка три на рисунке) в верхнем левом углу. Ее поддиагональные элементы уже несколько изменены на первых шагах ((^-алгоритма, и следующих двух шагов достаточно для нахождения Х2. Это дает систематическую процедуру для нахождения всех собственных значений. Теперь QR-алгоритм полностью описан и осталось определить только собственные векторы, что делается за один шаг обратного степенного метода, и пользоваться обращением в нуль соответствующих элементов матрицы в процедуре Хаусхолдера.
Цель предварительных преобразований Хаусхолдера, которые придают До трехдиагональный вид или форму Хессенберга— сделать каждый шаг QZ^-алгоритма очень быстрым. Обычно процесс Грама — Шмидта (т. е. ((^-разложение) требует О (п3) действий, но для хессенберговой матрицы требуется 0(«2), а для трехдиагональной О (п) действий. Без этого улучшения алгоритм будет невозможно медленным, и, если не обеспечивается, чтобы каждая новая матрица Ак снова имела трехдиагональный вид или форму Хессенберга, указанное улучшение можно применить только на первом шаге и далее оно бесполезно.
К счастью, этого не случается. Чтобы показать, что Аг имеет ту же форму, что и Ао, рассмотрим матрицу
* * ** * ********О О .0*О О .0* * ** * ** * * о * * 0 0** * * о * * 0 0*
* * *
* * *
*
*
*
*
*
*
*
О О .0
*
О О .0
* * *
* * *
* * * о * * 0 0*
* * * о * * 0 0*
Вы можете легко проверить, что это умножение сохраняет Qo те три нуля, которые имеет Ао, т. е. Qo сама имеет форму Хессенберга. Отсюда следует, что матрица Дп которая формируется посредством перестановки сомножителей, имеет вид
т. е. эти три нуля снова появляются в произведении, и, следовательно, Лх имеет форму Хессенберга всякий раз, когда Ло имеет, эту форму. Симметрический случай даже лучше, так как Аг = = Q^MoQd остается симметрической:
А] = Qo Ло (Qu *)т = QoM„Qo = Av
По только что изложенной причине построенная матрица Аг имеет форму Хессенберга, и поскольку она одновременно симметрическая, то она является трехдиагональной матрицей. То же самое относится к каждой из последующих матриц Л2, А3Итак, каждый шаг QZ+алгоритма имеет дело с трехдиагональной матрицей.
В заключение поясним процесс построения матриц Qa и Ro для начальной матрицы Ао (и Qk, и Rk для каждой Ак или на самом деле для Ак—а.к1\ Здесь снова можно использовать преобразования Хаусхолдера, но проще уничтожать каждый поддиагональный элемент простым «вращением плоскости». Первое из них имеет вид■
Элемент, стоящий в позиции (2, 1) этого произведения, равен ан sin 0 + a2i cos0, и мы выбираем угол 9 так, чтобы он делал эту комбинацию равной нулю. Затем Рза выбираем таким же способом, чтобы элемент матрицы Р32РИА„ в позиции (3,2) был равен нулю. После п — 1 элементарных вращений в качестве конечного результата получаем верхнюю треугольную матрицу Ro:
Ro = Рпп-1 ... P3J\A- (22)
Это все, что мы позволили себе сказать (более подробно этот метод изложен в книге Уилкинсона и Стюарта) об одном из наиболее замечательных алгоритмов вычислительной математики.
Упражнение 7.3.6. Показать, что для начальной матрицы Ло= gj алгоритм без сдвига дает лишь более чем скромное улучшение. Здесь AL = 114 —3]
5-3 6
Упражнение 7.3.7. Сделать простой шаг (^-алгоритма для матрицы
cos 6 sin 6 sin 6 О
со сдвигом а = а2з> который в данном случае совпадает с Q^-алгоритмом без сдвигов, поскольку а22 = 0. Показать, что внедиагональные элементы изменяются от sin 6 до —sin3 0 (пример кубической сходимости).
■„. ГО 11
Упражнение 7.3.8. Показать, что трехдиагональная матрица Л = I остается неизменной на каждом шаге QR-алгоритма и потому является (редким) контрпримером к сходимости. Это явление обходится путем использования произвольного сдвига.
Упражнение 7.3.9. Показать по индукции, что для Q^-алгоритма без сдвигов произведение (Q0Qi ... QAlRk ■•• R^Ro) является в точности QR- разложением матрицы Д*+1. Это совпадение связывает (?7?-алгоритм со степенным методом и объясняет его сходимость: если | Ха | > | Х21 > . • • > I ^п |, то эти собственные значения постепенно появляются в убывающем порядке на главной диагонали матрицы Ак.
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯСИСТЕМЫ Ах = Ь
В отличие от задач на собственные значения, где у нас нет выбора, для решения системы Лх = Ьнамне столь уж необходим итерационный метод. Исключение Гаусса дает решение х за конечное число шагов, и, пока это число приемлемо, мы можем применять этот метод. С другой стороны, когда п3/3 велико, мы можем получить приближение для х более быстрым способом. И нет смысла начинать процедуру исключения, а затем бросать. Наша цель — описать методы, которые начинаются с некоторого начального приближения х0, а затем позволяют строить улучшенные приближения хк+1, используя предыдущее приближение хк, и остановить этот процесс когда угодно.
Такие методы легко построить путем простого расщепления матрицы А. Если A = S— Т, то система Ах = Ь эквивалентна системе Sx^Tx — b и, следовательно, мы можем попытаться итерировать, используя формулу
Sxk+1 = Txk + b. (23)
Конечно, нет гарантии, что любой такой метод хорош, и, для того чтобы он был успешным, расщепление должно удовлетворять двум различным требованиям:
(i) Новый вектор хк+1 должен легко вычисляться. Поэтому S должна быть простой (и обратимой!) матрицей. Она может быть диагональной или треугольной матрицей. ■
(и) Последовательность хк должна сходиться к точному решению х. Если мы вычтем (23) из исходного уравнения Sx = TxA-b,
то в результате получим формулу, включающую в себя только ошибки ек = х—хк.
Sek+1 = Tek.(24)
Это совсем другое разностное уравнение. Для него итерационный процесс начинается с начальной ошибки е0, и после к шагов мы получаем новую ошибку ек — (S~1T)kea. Вопрос сходимости здесь эквивалентен вопросу устойчивости: хк—»х только тогда, когда еА-^0.
7F. Итерационный метод (23) сходится тогда и только тогда, когда каждое собственное значение К матрицы S~XT удовлетворяет неравенству | X | < 1. Его скорость сходимости зависит от максимального значения |Х|, которое известно как спектральный радиус матрицы S~1T-.
р (S-1T) = max | Х£ |.(25)
Напомним, что обычно решение уравнения ek+1 = S-1Tek представимо в виде
е^сХчА- ■ • • +с„ХХ-
Отсюда следует, что наибольшее из | Хг | в конце концов станет доминирующим и будет определять скорость, с которой ек сходятся к нулю.
Два требования, предъявляемые к итерационному процессу, до некоторой степени противоречивы. С одной стороны, мы могли бы достичь немедленной сходимости, выбирая следующее расщепление: 5=Д и Т = 0. При этом первый (и последний) шаг итерации был бы Ахх = Ь. В этом случае матрица перехода S-1T равна нулю, ее собственные значения и спектральный радиус равны нулю и, следовательно, скорость сходимости (обычно определяемая как —logр) бесконечна. Но, разумеется, матрицу S = А не всегда легко обратить, что было основным побуждением для расщепления. С другой стороны, мы можем взять в качестве S диагональную часть матрицы А и итерации становятся хорошо известным методом Якоби;
. Йц (X-Ah + 1 = ( О12Х2 ^jgXg. . . ОцА^ + bv
!(26)
ann^n)k+i ~ ( ^Vi ап1хг ... ann_1xn_Ak~Vbn.
Если диагональные элементы аи все ненулевые и если А — разреженная матрица, так что большинство членов в правой части отсутствует, то переход от хк к хк+1 прост. Важным является вопрос о том, сходится ли итерационный метод, и если сходится, то как быстро.
Пример 1.
А =А =2 — Г— 122 — Г— 125 =5 =2222О 1О 11 О1 ОS-1? =S-1? =о1о122_1"2"О_1"2"О
А =
А =
2 — Г
— 12
2 — Г
— 12
5 =
5 =
2
2
2
2
О 1
О 1
1 О
1 О
S-1? =
S-1? =
о
1
о
1
2
2
_1"2"
О
_1"2"
О
Если компоненты вектора х обозначить через и и w, то метод Якоби 8хкА.х = ТхкА-Ь имеет вид
‘2.yk+i = wk-Vbv ^к+1 = икУгЬг,‘2.yk+i = wk-Vbv ^к+1 = икУгЬг,УWУWк + 1к + 1О у ' у 1 bjT 0 L^ .L + [v2.О у ' у 1 bjT 0 L^ .L + [v2.
‘2.yk+i = wk-Vbv ^к+1 = икУгЬг,
‘2.yk+i = wk-Vbv ^к+1 = икУгЬг,
У
W
У
W
к + 1
к + 1
О у ' у 1 bjT 0 L^ .L + [v2.
О у ' у 1 bjT 0 L^ .L + [v2.
Собственными значениями матрицы 8-1Т, имеющей решающее значение, служат + 1/2. Последнее означает, что ошибка убывает в два раза (приближение становится точнее на один двоичный знак) на каждом шаге. В этом примере, который слишком прост, чтобы быть типичным, сходимость быстрая. Если мы попытаемся взять матрицу А большего порядка, то немедленно возникают практические трудности при реализации метода Якоби (26). Требуется хранить в памяти все компоненты хк, пока не вычислено полностью приближение хк+1. Более естественная идея, которая требует только половину памяти по сравнению с методом Якоби, — это начинать использовать каждую компоненту нового вектора хк+1, как только она вычислена; вектор хк+1 постепенно, по одной компоненте, становится на место хк и поэтому хк исчезает, как только завершается построение вектора xk+v Сказанное означает, что первое уравнение остается таким же, как и раньше:
^11 (-^1)6 + 1 = ( ^12-^2 ^13-^3 • 1 1 ^-In^l^k 4“ Ьх.
Следующее уравнение немедленно оперирует с этим новым значением хг:
^22 (-^2)^ + 1 = ■ ^21 (-^1)л + 1 + ( ^аз-^з • • •^2л^л)й 4" ^2’
а последнее уравнение будет использовать исключительно новые значения:
®лл ^п)к + 1(^лг''! атхг • ■ • ^пп-г^п-гН + т А"Ьп.
Этот метод носит название метода Гаусса—Зейделя, даже не смотря на то, что он, по-видимому, не был известен Гауссу и не предлагался Зейделем. Это забавно, поскольку сам метод является неплохим. Заметим, что если все компоненты хк+1 перенести в левую часть, то очевидно, что матрица S станет нижней треугольной частью Л, а в правой части остается матрица Т из представления Д = £—Т, которая является верхней строго треугольной.
Пример 2.
2 —12 —112122 О2 О1 21 2О 1О 1О ОО О5'4 =5'4 =ОООО2121
2 —1
2 —1
12
12
2 О
2 О
1 2
1 2
О 1
О 1
О О
О О
5'4 =
5'4 =
О
О
О
О
2
1
2
1
Один шаг метода Гаусса — Зейделя преобразует компоненты ук и wk по формулам
ИЛИИЛИ2^+, = ^ + ^, 2^ + 1 = L'k-H + ^2,
ИЛИ
ИЛИ
Собственные значения матрицы S-1T снова имеют решающее значение, и их, конечно, легко найти. Они равны 0 и 1/4. Ошибка делится на 4 каждый раз, так что один шаг метода Гаусса — Зейделя эквивалентен двум шагам метода Якоби\ Так как оба метода требуют одного и того же количества операций (мы будем использовать новые значения вместо старых и практически сэкономим память), то метод Гаусса—Зейделя лучше.
Существует способ сделать метод Гаусса — Зейделя еще лучше. Еще во времена ручных вычислений было замечено (возможно, случайно), что сходимость становится быстрее, если способ вычисления поправки хк+1— хк несколько отличается от используемого в методе Гаусса—Зейделя. Точнее говоря, обычный метод сходится монотонно, т. е. приближения остаются с одной и той же стороны от решения х. Поэтому естественно попытаться ввести релаксационный множитель со, чтобы подойти к решению ближе. При со = 1 такой способ совпадает с методом Гаусса—Зейделя, а при со > 1 известен как метод последовательной верхней релаксации (SOR). Оптимальный выбор со зависит от задачи, но никогда не превосходит 2 и часто приблизительно равен 1.9.
Чтобы описать этот метод более подробно, обозначим через D, L и U диагональную, нижнюю строго треугольную и верхнюю строго треугольную части А. (Это расщепление не имеет ничего общего с разложением Гаусса A=LDU и на самом деле имеет вид A—LA-DA-UA В методе Якоби S = D в левой части (23) и Т —— L — U в правой части, тогда как в методе Гаусса — Зейделя выбирается расщепление S==D + L и Т =— U. Сейчас, чтобы ускорить сходимость, мы рассмотрим итерационный метод
(О 4-coL) xft+1 = [(1 —со) D— col/]xft + cob.(27)
Заметим, что при от = 1 мы не получаем ускорения, а возвращаемся точно к методу Гаусса — Зейделя. Но независимо от го матрица в левой части нижняя треугольная, а в правой части верхняя треугольная. Поэтому мы все еще можем покомпонентно заменять хк на хк+1, по мере того как эти компоненты вычисляются. Один шаг метода Гаусса — Зейделя имеет вид
«//(^Оа+^^.Дх^+го^—а,.^! —. .. —n/;-_1xz_1)W1 +
•+( aaxi~ •••—ainxtih +^,].
Если старое приближение хк совпадает с истинным решением х, то новое приближение хк + г также совпадет с х и, следовательно, выражение в скобках будет равно нулю.
I 2Пример 3. Для той же матрицы А = метода последовательной верхней релаксацииI 2Пример 3. Для той же матрицы А = метода последовательной верхней релаксации— 1— 122каждый шагкаждый шагимеет видимеет вид2 О"—о) 22 О"—о) 2"2(1 — го)0"2(1 — го)0го2(1—го)го2(1—го)-Ч + «к.-Ч + «к.
I 2
Пример 3. Для той же матрицы А = метода последовательной верхней релаксации
I 2
Пример 3. Для той же матрицы А = метода последовательной верхней релаксации
— 1
— 1
2
2
каждый шаг
каждый шаг
имеет вид
имеет вид
2 О"
—о) 2
2 О"
—о) 2
"2(1 — го)0
"2(1 — го)0
го
2(1—го)
го
2(1—го)
-Ч + «к.
-Ч + «к.
Если мы разделим на го обе части уравнения, то получим две матрицы S и Т расщепления Л—S—Т и итерации снова запишутся как Sxk+i = Тхк +6. Таким образом, матрицей S-1T, собственные значения которой определяют скорость сходимости метода, будет матрица
2 0'2 (1 — го) го—со 2_02(1 — со)2 0'2 (1 — го) го—со 2_02(1 — со)1-го 2 го
2 0'2 (1 — го) го
—со 2_02(1 — со)
2 0'2 (1 — го) го
—со 2_02(1 — со)
-1(0(1 —to) 1—to + -l(02 . 2 ' ’ 4 J
Оптимальным значением параметра го является такое значение, при котором наибольшее собственное значение матрицы Тш (другими словами, спектральный радиус) будет наименьшим из возможных. Основной проблемой метода последовательной верхней релаксации является выбор оптимального параметра го. Начнем с замечания, что произведение собственных значений должно быть равно определителю. Рассмотрим два треугольных сомножителя, входящих в произведение, задающее £ш; определитель первого из них равен 1/4 (после обращения S), а второго 4(1 —го)2. Поэтому
, \X2 = det Lm = (1 — го)2.
Это общее свойство: вклад первой матрицы (£> + <вЛ)-1 в определитель равен det О-1, так как все ненулевые элементы L лежат ниже главной диагонали, а вклад второй матрицы равен det (1 —го) D, поскольку ненулевые элементы U лежат только выше главной диагонали. Произведение этих определителей в случае
матриц порядка п равно det Lto = (1—со)". (Это объясняет, почему нельзя доходить до значения to = 2: произведение собственных значений было бы настолько большим, что неравенство | Xz | < 1 не могло бы выполняться для всех собственных значений и метод не сходился бы.) Проведенные выкладки дают ключ к пониманию поведения собственных значений матрицы Lto. При w= 1 это собственные значения метода Гаусса — Зейделя, равные 0 и 1/4, а когда со возрастает, то собственные значения приближаются друг к другу. При оптимальном со оба собственных значения равны по модулю. Следовательно, в этот момент они оба должны быть равны по модулю со—1, чтобы их произведение было равно определителю матрицы Lo/Y
Оптимальное значение со вычислить легко, потому что сумма собственных значений всегда равна сумме диагональных элементов матрицы (следу LtoY Поэтому наилучший параметр соопт определяется из уравнения
Л-1 + ^а ~ (%пт — 1) + (юопт — 1) = 2 — 2соопт -(- -^ <о/пт. (28)
Квадратное уравнение дает соопт = 4 (2 — V 3) « 1.07. Поэтому модули собственных значений приблизительно равны со—1=0.07, что является значительным изменением по сравнению с методом Гаусса — Зейделя с его собственным значением Х= 1/4 при со = 1. В этом примере правильный выбор параметра снова удвоил скорость сходимости, потому что (1/4)2 « 0.07.
Обнаружение того, что это усовершенствование так легко сделать (почти как по волшебству), положило начало двадцатилетнему периоду громадной активности в численном анализе. Первой задачей было развить и расширить теорию верхней релаксации. Диссертация Янга в 1950 году содержала ее решение — простую формулу для оптимального со. Ключевым моментом его диссертации было установление связи между собственными значениями X матрицы Lie и собственными значениями р исходной матрицы Якоби D-1 (—L — Щ. Эта связь выражается формулой
(/. + со — 1)2 = До2рЛ (29)
Она верна для широкого класса конечно-разностных матриц, и если мы положим со= 1 (метод Гаусса—Зейделя), то это дает Х2 = Хр2, откуда / = 0 и Х = рЛ Это было подтверждено примерами 1 и 2, в которых р = ± 1/2, a Z = 0 и Х= 1/4. В самом деле, ситуация здесь полностью отражает соотношение между методами Якоби и Гаусса — Зейделя: собственные значения ц всех матриц класса Янга разбиты на «плюс-минус-пары», и тогда (29) пока-
*) Если <о растет дальше, то собственные значения становятся комплексносопряженной парой: для обоих справедливо |Л| = ш—1, т. е. их произведение по-прежнему равно (со—I)2 и их модули растут при возрастании со.
зывает, что соответствующие X равны либо нулю, либо и/2. Скорость сходимости метода удваивается.
Важная задача—еще больше улучшить метод. Мы хотим выбрать со так, чтобы минимизировался модуль наибольшего собственного значения X. К счастью, эта проблема уже решена. Уравнение Янга (29) есть не что иное, как характеристическое уравнение для примера матрицы второго порядка L(i„ и лучшим было то со, которое делает оба корня X равными по модулю со — 1. Точно так же, как в (28), гдер3= 1/4, эго приводит к уравнению
(со—1) + (со—1) = 2 — 2со + ц2со2, или со = ——^——.
Единственная разница состоит в том, что для больших матриц это будет повторяться для различных пар + р,-, и нам остается только сделать правильный выбор со. Наибольшая из этих пар собственных значений р дает наибольшее собственное значение в методе Якоби ртах, и оно также дает наибольшее' значение со и Х = со—1. Поэтому, так как наша цель — сделать Хтах как можно меньше, эта экстремальная пара определяет наилучший выбор соопт:
и Хтах = 0)0ПТ-1.(30)
Нтах
Это формула Янга оптимального множителя для метода последовательной верхней релаксации.
Для нашей конечно-разностной матрицы с элементами — 1, 2, — 1 вдоль трех основных диагоналей можно вычислить улучшение, которое вносит соопт. В примерах это были матрицы порядка два. Теперь предположим, что порядок равен п, т. е. соответствует шагу сетки h = \Ап + 1). Наибольшее собственное значение матрицы метода Якоби в соответствии с упр. 7.4.3 равно pmax = cos nh. Поэтому наибольшее собственное значение матрицы метода Гаусса— Зейделя равно р„ах = cos2 л/г, а максимальное собственное значение для метода последовательной верхней релаксации находится подстановкой цтах в (30):
^2(1 — sin л/г) j (1—sin л/г)2 1—sin л/г
шах cos2 л/гcos2 л/г 1 + sin л/г'
Оценить эти величины можно только для конкретного примера. Предположим, что А имеет порядок 21, что совсем не много. Тогда /г = 1/22, созл/г = 0.99 и метод Якоби сходится медленно; cos2 л/г = 0.98 означает, что даже метод Гаусса — Зейделя требует проведения большого числа итераций. Но так как sin л/г = = 1^0.02 = 0.14, то множитель, определяющий сходимость оптимального варианта метода верхней релаксации, равен
^тах = ^П = 0.75 при %пГ= 1+^тах= 1-75.
На каждом шаге ошибка уменьшается на 25%, и од ан шаг метода верхней релаксации эквивалентен 30 шагам по методу Якоби-. (0.99)30 = 0.75.
Это очень удивительный результат для такой простой идеи. В действительности этот метод применяется не к одномерным задачам (обыкновенные дифференциальные уравнения), так как система Ах=Ь с трехдиагональной матрицей легко решается. Верхняя релаксация наиболее важна для случая больших размерностей, что соответствует уравнениям с частными производными. Если мы заменим единичный интервал O^x^l на единичный квадрат О^х, у^1, а уравнение — ихх = ^ на —ихх— uw = t, то естественным конечно-разностным аналогом для этого уравнения будет «пятиточечная схема». Коэффициенты —1, 2, —1 по направлению х комбинируются с коэффициентами—1, 2, —1 по направлению у. В результате имеем главную диагональ с элементами + 4 и четыре других диагонали с элементами —1. Но ширина ленты матрицы А не равна пяти, и не существует способа нумерации № узловых точек в квадрате так, чтобы каждая точка располагалась близко ко всем четырем своим соседним. Если упорядочение проводится строка за строкой, то каждая точка на протяжении целой строки должна ожидать свою верхнюю соседнюю точку. В результате «пятиточечная матрица» имеет ширину ленты N;
Эта матрица привлекает большее внимание и изучается более детально, чем матрицы любых других линейных уравнений Ах = Ь. Я думаю, что сейчас возникла тенденция возвращения к прямым методам, базирующимся на идеях Голуба и Хоккнея, хотя ряд специальных матриц они не охватывают. (Это можно сравнить с так называемым «быстрым преобразованием Фурье».)
Ранее появились итерационные методы переменных направлений, в которых расщепление осуществлялось путем разделения, на трехдиагональную матрицу в направлении х и такую же в направлении у. Еще раньше появился метод верхней релаксации, поскольку собственное значение матрицы метода Якоби ртах = = cos л/г такое же, как и в одномерном случае, и таким же ока-
зывается оптимальный параметр о)опт. Во всех случаях трудности возникают при переходе от модельных задач к реальным, и каждый метод имеет свои особенности при решении уравнений более общих, чем —ихх— uvy = f, и для областей более общей геометрии, чем квадрат.
Мы не можем закончить изложение без упоминания метода сопряженных градиентов, который, казалось, умер, но внезапно вновь ожил; скорее его можно отнести к прямым, чем к итерационным, но в отличие от исключения он может быть остановлен на одном из шагов. И нет нужды говорить, что могут появиться и победить другие, совершенно новые идеи. Но тем не менее нужно сказать, что именно изменение с 0.99 до 0.75 явилось революцией в решении системы Ах = Ь.
Упражнение 7.4.1. Для матрицы
с собственными значениями 2 —- V" 2,2,2+ V" 2 найти матрицу Якоби О-1(—L— U) и ее собственные значения, матрицу Гаусса — Зейделя (D + L)-1(—U) и ее собственные значения и числа аопг и Атах Для метода последовательной верхней релаксации. Вычислять матрицу L® нет необходимости .
Упражнение 7.4.2. Для матрицы
Г 2 -11
—1. .
.. —1
_—12.
порядка п описать матрицу Якоби J = D-1(—L—V). Показать, что вектор ду = (sin лА, sin2nA, .. ,,sin«n/i)—ее собственный вектор, соответствующий ее собственному значению Xj = cos nA = cos л/(п+1).
Упражнение 7.4.3. Для той же матрицы А показать, что другие собственные векторы имеют вид хд = (sin АлА, sin 2АлА, ..., sin nfcnA) и соответствуют собственным значениям Ад = с05&лА, которые, как видно, составляют плюс- минус-пары (Хп =—Ai, Хп_1 =— Хг, ...), причем Xmax = cosnh.
Следующие упражнения используют теорему о кругах Герш- горина: каждое собственное значение матрицы А лежит в одном из кругов Си ..., Сп, где круг Сг имеет центром диагональный элемент аи, а его радиус гг-=2 l^i/ l равен сумме абсолютных
значений оставшихся элементов строки.
Доказательство. Уравнение Ах = Хх в покомпонентной записи имеет вид (X — а£^х£ = ^а^х., откуда |Х— a^lC / ^S /
^ У |а(7|-р^-. Если наибольшей по модулю компонентой х
i i Х'
является компонента х£, то |Xj [/] х£ | ^ 1 для всех j #= I и, следовательно, |Х— а££ |^г,., т. е. X лежит в t-м круге.
Упражнение 7.4.4. Матрица
1 Г
4 1
2 5
называется матрицей с диагональным преобладанием, так как для каждого i (ац | > г£. Показать, что нуль не лежит ни в одном из кругов Гершгорина и, следовательно, матрица А невырожденная.
Упражнение 7.4.5. Выписать матрицу Якоби J для положительно определенной матрицы А из упр. 7.4.4 и найти для j три круга Гершгорина. Показать, что все радиусы удовлетворяют неравенству г£ < 1, и объяснить, почему метод Якоби будет сходиться.
Упражнение 7.4.6. Точное решение системы Ах= b отличается отрешения системы LUx^b, так как матрица А—LU ненулевая из-за ошибок округления. Одна из возможностей повышения точности приближенного решения состоит в использовании везде двойной точности вычислений, но лучшим и более быстрым способом является итеративное уточнение. В этом способе с двойной точностью вычисляется только вектор г = Ь— Ах0. Затем решается система LUy = r и вычисленное решение добавляется как коррекция к предыдущему приближенному решению. Задача заключается в следующем: умножить вектор X) = ХоА-У на матрицу LU, выписать результат в виде итерационной процедуры 8хЛ = ТхйА-Ь, указав матрицы S и Т соответствующего расщепления, и объяснить, почему Т оказывается очень малой. Эта простая операция коррекции приводит нас к почти точному решению.
Глава 8
ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕИ ТЕОРИЯ ИГР
ЛИНЕЙНЫЕ НЕРАВЕНСТВА
Линейная алгебра, в отличие от анализа, связана с решением только уравнений и не имеет дела с неравенствами. Это всегда казалось очевидным, но в конце концов я понял, что линейное программирование представляет собой контрпример: оно связано с неравенствами, но безусловно является частью линейной алгебры. То же самое справедливо и в отношении теории игр, и есть три подхода к этим предметам: либо интуитивный — через геометрию, либо вычислительный—через симплекс-метод, либо алгебраический—через теорию двойственности. Для линейного программирования эти подходы развиваются в данном параграфе и в § 8.2 и 8.3. Затем в § 8.4 рассматриваются задачи, имеющие целочисленное решение (например, задача о бракосочетании). В параграфе 8.5 обсуждаются покер и другие матричные игры, а в конце объясняется теорема о минимаксе и ее связь с теоремой двойственности из линейного программирования.
Ключом к этой главе служит понимание геометрического смысла линейных неравенств. Неравенство делит «-мерное пространство на два полупространства, в одном из которых неравенство выполняется, а в другом не выполняется. Типичным примером является неравенство х + 2у^4. Границей, разделяющей эти два полупространства, является прямая х-(-2у = 4, на которой неравенство обращается в равенство. Над этой прямой -расположено полупространство, где x + 2z/^4 (рис. 8.1); под ней находится противоположное полупространство, в котором неравенство неверно. В трехмерном случае рисунок будет почти таким же; граница превращается в плоскость, например х + 2у 4-г = 4, а над ней расположено полупространство к + 2у4-г ^ 4. В п-мер- ном случае мы также будем называть (п— 1)-мерную границу «плоскостью».
В дополнение к неравенствам этого типа в линейном программировании существует еще одно основное ограничение: величины х
и у должны быть неотрицательными. Разумеется, это ограничение само по себе дает пару линейных неравенств; х ^ О и у ^ 0. Поэтому у нас есть еще два полупространства с границами, ле-
Рис. 8.1. Уравнения и неравенства.
жащими прямо на осях координат: неравенство х ^ 0 допускает все точки, лежащие по правую сторону от прямой х = 0, а у"^0 дает полупространство над прямой у~ 0. t
Рис 8.2 Допустимое множество и функция стоимости 2х+3у.
Важный шаг состоит в совместном рассмотрении всех трех неравенств x + 2i/^ 4, х^О, у^О. Геометрически их сочетание дает выделенную область на рис. 8.2. Эту область можно рассматривать как пересечение трех полупространств. Она уже не является полупространством, а представляет собой типичный пример того, что в линейном программировании называется допу-
стимым множеством. Другими словами, допустимое множество образуется из решений набора линейных неравенств.
Нетрудно заметить, что система вида Ах = Ь, состоящая из т уравнений с п неизвестными, на самом деле описывает пересечение m различных плоскостей — по одной на каждое из уравнений. (Когда т — п и плоскости являются независимыми, они пересекаются в одной точке, являющейся решением х = А~'ЬА Аналогичным образом система т неравенств Ах^Ь описывает пересечение т полупространств. Если, кроме того, потребовать, чтобы каждая компонента вектора х была неотрицательна (что записывается в виде векторного неравенства х^О), то в результате возникает еще п полупространств. Чем больше ограничений мы накладываем, тем меньше будет допустимое множество.
Может случиться, что допустимое множество окажется ограниченным или даже пустым. Если мы перейдем к примеру с полупространством х + 2у^4, сохранив неравенства x^0t у^О, то в результате получим треугольник О АВ. При соединении вместе неравенств х + 2у ^ 4 и х + 2у ^ 4 допустимое множество вырождается в прямую: два противоположных ограничения дают равенство х + 2у = 4. Если же мы добавим противоречащее ограничение, например х + 2у^—2, то допустимое множество будет пустым).
Алгебра линейных неравенств (или допустимых множеств) является составной частью нашего предмета. В линейном программировании, однако, имеется другая существенная составляющая: нас интересует не множество всех допустимых точек, а определенная точка, максимизирующая или минимизирующая некоторую «функцию стоимости». К примеру х + 2у>4, х^О, у > О мы добавляем функцию стоимости (или целевую функцию) 2х + 3у. Тогда настоящая задача линейного программирования состоит в отыскании точки х, у, лежащей в допустимом множестве и минимизирующей стоимость.
Геометрическая интерпретация задачи приведена на рис. 8.2. Семейство стоимостей 2х + 3у дает семейство параллельных прямых, и мы должны найти минимальную стоимость, т. е. первую прямую, которая пересекает допустимое множество. Очевидно, что это пересечение происходит в точке В, где х* = 0 и у* = 2; минимальная стоимость есть 2х* + 3у* = 6. Вектор (0, 2) называется допустимым, поскольку он лежит в допустимом множестве, и он оптимален, поскольку он минимизирует функцию стоимости, и минимальная стоимость 6 называется значением программы. Мы будем помечать оптимальные векторы звездочкой.
Нетрудно видеть, что оптимальный вектор находится в углу допустимого множества. Это гарантируется геометрией, поскольку прямые, задающие функцию стоимости (или плоскости, когда мы перейдем к большему числу неизвестных), непрерывно движутся
(а) Функция стоимости <г+2,у; минимальное значение 4
(Ь) Функция стоимости-х-2у\ минимальное значение - <»
Рис. 8.3. Частные случаи: бесконечное число оптимальных векторов и ни одного оптимального вектора.
вверх, пока не пересекут допустимое множество. Первый контакт должен произойти на его границе. Однако при другой функции стоимости пересечение может и не быть одной точкой: если стоимость будет выражаться функцией х + 2у, то все ребро между В и А попадет в пересечение одновременно, и мы получим бесконечное множество оптимальных векторов на этом отрезке (рис. 8.3а). Значение по-прежнему остается единственным (х* + 2у* равняется 4 для всех оптимальных векторов), и потому задача на минимум по-прежнему имеет определенное решение. С другой
стороны, задача на максимум вообще не будет иметь решения! При нашем допустимом множестве стоимость может подниматься сколь угодно высоко и максимальная стоимость бесконечна. Для рассмотрения этой возможности в рамках задач на минимум следует изменить стоимость на —х —2у. Тогда минимум равняется — оо, как на рис. 8.3b, и вновь решения нет. Каждая задача линейного программирования относится к одной из трех возможных категорий: либо ее допустимое множество является пустым, либо ее функция стоимости на допустимом множестве неограниченна, либо имеется единственное значение для линейной программы (с одним оптимальным вектором или с бесконечным множеством оптимальных векторов). Первые две ситуации должны быть весьма нетипичными для реальной экономической или инженерной задачи. ' -
Существует простой способ превращения ограничений-неравенств в равенства, заключающийся во введении переменной невязки w — x-\-2y—4. Это и есть наше уравнение! Исходное ограничение х-(-2у^4 превращается в ау^О, что прекрасно согласуется с остальными ограничениями х^О, у^О. Именно с этого шага начинается симплекс-метод: введение переменных невязки для каждого из неравенств дает в результате только' уравнения и простые ограничения на неотрицательность.
' ИНТЕРПРЕТАЦИЯ ИСХОДНОЙ ЗАДАЧИИ ДВОЙСТВЕННОЙ К НЕЙ
Пожалуй, хватит о необычных случаях. Мы хотим вернуться к нашему исходному примеру со стоимостью 2х +Зу и описать его словесно. Он является иллюстрацией «задачи о диете» в линейном программировании с двумя источниками протеина—например, бифштексом и арахисовым маслом. Каждый фунт арахисового масла дает единицу протеина, каждый фунт бифштекса дает две единицы, и диета должна содержать по меньшей мере четыре единицы. Поэтому диета, содержащая х фунтов арахисового масла и у фунтов бифштекса, ограничивается неравенствами х4-2у^4, х^О, у 3^0. (Мы не можем, иметь отрицательного количества бифштекса или арахисового масла). Это и есть допустимое множество, и задача состоит в минимизации стоимости. Если фунт арахисового масла стоит 2 доллара, а фунт бифштекса 3 доллара, то стоимость - всей диеты есть 2х + 3у. К счастью, оптимальная диета состоит из бифштекса: х*=0 и у* = 2.
Каждая линейная программа, в том числе и эта, имеет двойственную. Если исходная задача состоит в минимизации, то двойственная к ней—в максимизации и решение одной прямо приводит к решению другой; фактически минимум в данной «основной задаче» должен быть равен максимуму в двойственной к ней. На
самом деле это центральный результат в теории линейного программирования, и он будет разъяснен в § 8.3. Здесь же мы будем придерживаться задачи о диете и попытаемся дать интерпретацию двойственной к ней.
Для покупателя, выбирающего между бифштексом и арахисовым маслом из условия минимальной стоимости получаемого протеина, двойственной задачей является та, которая стоит перед' продавцом, продающим синтетический протеин. Он намерен конкурировать с бифштексом и арахисовым маслом, и мы немедленно встречаемся с двумя ингредиентами типичной задачи линейного программирования: он хочет максимизировать цену р, но эта цена подчиняется линейным ограничениям. Прежде всего синтетический протеин не должен стоить больше, чем протеин в арахисовом масле (2 доллара за единицу) или протеин в бифштексе (3 доллара за две единицы). В то же время цена должна быть неотрицательной, иначе продавец не будет продавать. Поскольку диетой требовались четыре единицы протеина, доход продавца будет равен 4/? и двойственная задача в точности такова: Максимизировать ^р, если р^^, 2р^3 и р^О. Это пример, в котором двойственную задачу решить легче, чем исходную; она имеет лишь одну неизвестную. Ясно, что фактически действует лишь одно ограничение 2р 3 и максимальная цена синтетического протеина равняется 1.50 доллара. Поэтому максимальный доход равен 4^ = 6 долларов. Это фяла минимальная стоимость в исходной задаче, и покупатель платит одно и то же как за натуральный, так и за синтетический протеин. В этом состоит смысл теоремы двойственности.
Упражнение 8.1.1. Изобразить допустимое множество с ограничениями х+2у^6, 2х+у^:6, х5$0, уЭаО. Какие точки находятся в трех «углах» этого множества?
Упражнение 8.1.2 (рекомендуемое). Чему равняется минимальное значение функции стоимости x-Vti для предыдущего допустимого множества? Нарисовать прямую x-f-z/ = const, которая первой касается допустимого множества. Как насчет функций стоимости Зх+у и х— у?
Упражнение 8.1.3. Показать, что допустимое множество, ограниченное неравенствами х^О, у^О, 2x + 5t/<3, —Зх-\-8у<—5, является пустым.
Упражнение 8.1.4. Показать, что следующая задача допустима, но не ограничена и не имеет поэтому оптимального решения: максимизировать х-\-у при х^О, у^О, —3x-|-2i/<—1, х — у<2.
Упражнение 8.1.5. Добавить одно ограничительное неравенство к х^О, у 5$ О так, чтобы допустимое множество содержало лишь одну точку.
Упражнение 8.1.6. Какую форму имеет допустимое множество х^:0, у^О, Z^O, x+Z/+z—1 и чему равен максимум выражения х-|-2^-|-Зг?,
ТИПИЧНЫЕ ПРИЛОЖЕНИЯ
В следующем параграфе мы сконцентрируем внимание на решении (и опустим формулировки) задач линейного программирования. Поэтому пора описать некоторые практические ситуации, в которых может возникнуть следующая математическая задача: минимизировать или максимизировать линейную функцию стоимости, подчиняющуюся линейным ограничениям.
Выбор портфеля ценных бумаг. Предположим, что имеются три типа ценных бумаг: федеральные стоимостью А, дающие 5% годовых, муниципальные стоимостью В, дающие 6% годовых, и акции урановой компании стоимостью С и дающие 9% годовых. Мы можем купить этих бумаг на суммы х, у и г соответственно с тем, чтобы общая сумма не превосходила 100 тысяч долларов. ’Задача состоит в максимизации процентного дохода при условиях, что'
в уран можно вложить не более 20 тысяч долларов;
средняя стоимость выбранных бумаг должна быть не меньше В.
Задача: максимизировать величину 5% + 6у + 9г при условиях х + у + ^^ 100 000,2^20 000, г^х, х, у, 2^0.
Планирование производства. Пусть корпорация «Дженерал Моторе» получает прибыль в размере 100 долларов на каждый «шевроле», 200 долларов на каждый «бьюик» и 400 долларов на каждый «кадиллак». Они проходят соответственно по 20, 17 и 14 миль на одном галлоне бензина, а Конгресс постановил, что в среднем производимый автомобиль должен проходить 18 миль на галлоне бензина. Завод может собрать «шевроле» за 1 минуту, «бьюик»—за 2 минуты, а «кадиллак»—-за 3 минуты. Чему равняется максимальная прибыль за восьмичасовой рабочий день?
Задача: максимизировать величину 100% + 200у + 400г при условиях■
20%+ 17z/+ 14г + 18 (% + у + ?), % + 2у + Зг ^480, х, у, г^0.
Упражнение 8.1.7. Решить задачу о портфеле ценных бумаг.
Упражнение 8.1.8. В допустимом множестве для второго примера условие неотрицательности х, у, z^0 выделяет одну восьмую трехмерного пространства (положительный октант). Как он разрезается двумя плоскостями, соответствующими ограничениям, и какую форму имеет допустимое множество? Каким образом его углы показывают, что при этих- двух ограничениях в оптимальном решении будет только две марки автомашин? -
Упражнение 8.1.9. Задача о перевозках. Пусть Техас, Калифорния и Аляска производят по миллиону баррелей нефти. Город Чикаго потребляет 800 тысяч баррелей и расположен на расстоянии 1000, 2000 и 3000 миль от соответствующих месторождений. Оставшиеся 2200 тысяч баррелей транспор-
тируются в Новую Англию на расстояние 1500,3000 и 3700 миль соответственно. Если стоимость перевозки барреля составляет одну единицу на милю, то какую линейную программу с пятью ограничениями-равенствами нужно решить, чтобы оптимизировать величины х, у, г для Чикого и и, и, to для Новой Англии?
СИМПЛЕКС-МЕТОД
Этот параграф посвящен линейному программированию с п неизвестными и т ограничениями. В предыдущем параграфе мы имели п = 2 и т = 1; там были две неотрицательные переменные и одно ограничение %4-2z/^4. Более общий случай нетрудно объяснить, но нелегко решить.
Наилучшим способом для описания задачи является ее матричная запись, п неизвестных образуют неотрицательный вектор- столбец х — [ху х2 ... хДт. Чтобы быть «допустимым», этот вектор должен удовлетворять т ограничениям помимо х^0; мы записываем эти ограничения в виде Ах^Ь. Матрица А имеет размер тхп, и каждая из ее строк дает одно неравенство (точно так же, как в остальной части книги каждая строка системы Ах = b давала одно уравнение). Матрица А и вектор b заданы—для ограничения x-j-2z/^4 мы имели Л = [1 2] и Ь — [4]. Функция стоимости тоже задана, и она также является линейной; она равняется с1х1 + с2х24- • • • + с„х„, или сх). Задача состоит в отыскании допустимого вектора, минимизирующего стоимость; этот вектор и есть оптимальный.
Задача на минимум: минимизировать сх при условиях х^0, Ах^Ь.
Геометрическая интерпретация очевидна. Первое условие х^0 ограничивает вектор «положительным квадрантом» в «-мерном пространстве—это есть область, общая для всех полупространств х, ^ 0. В двумерном случае это четверть плоскости, в трехмерном— восьмая часть пространства; в общем случае имеется один шанс из 2" для того, чтобы вектор был неотрицательным.. Другие т ограничений дают т дополнительных полупространств, и допустимыми векторами являются те, которые удовлетворяют всем т + « условиям; они лежат в квадранте х^0 и одновременно удовлетворяют Ах^Ь. Другими словами, допустимое множество есть пересечение т + п полупространств; оно может быть ограниченным (с плоскими сторонами!), неограниченным или пустым.
Функция стоимости сх вводит в задачу полное семейство параллельных плоскостей. Один из элементов этого семейства, а именно содержащий начало координ’ат, является плоскостью сх = 0; если вектор х. удовлетворяет этому уравнению, то он имеет
«нулевую стоимость». Остальные плоскости сх = const дают все возможные стоимости. При изменении стоимости эти плоскости перемещаются в n-мерном пространстве и оптимальным вектором х* будет тот, при котором плоскость впервые коснется допустимого множества. Этот вектор х* является допустимым, и соответствующая стоимость сх* является минимальной внутри допустимого множества; таким образом, х* решает стандартную задачу на минимум в линейном программировании.
Наша цель в этом параграфе заключается в вычислении х*. В принципе мы можем сделать это путем отыскания всех углов допустимого множества и вычисления стоимостей в них; тогда угол с минимальной стоимостью будет оптимальным. Однако практическая реализация данного подхода невозможна, поскольку таких углов насчитываются миллионы и мы не можем производить вычисления во всех них.' Вместо этого мы обратимся к симплекс-методу, который без сомнения можно считать наиболее плодотворной идеей современной вычислительной математики. Он был разработан Данцигом как систематический способ для решения задач линейного программирования и либо по счастливой случайности, либо благодаря выдающимся достоинствам имел потрясающий успех. Этапы этого метода приведены на стр. 372, но сначала мы попытаемся разъяснить их насколько возможно.
Мне кажется, что лучше всего сделать это геометрически. На первом шаге мы просто находим некоторый угол допустимого множества, что составляет первую фазу. Сердцем метода является его вторая фаза, заключающаяся в движении от угла к углу вдоль ребер допустимого множества. В типичном случае нам придется выбирать для движения одно из п ребер; некоторые из них будут уводить от оптимального (но неизвестного) х*, другие будут постепенно приближать нас к этому вектору. Данциг предложил двигаться вдоль того ребра, которое гарантирует убывание стоимости. Это ребро приводит к новому углу с меньшей стоимостью, и уже нет возможности вернуться к чему-либо более дорогому. Постепенно мы достигнем особого угла, для которого уже все направления станут недопустимыми и стоимость минимизирована. Этот угол дает оптимальный вектор х*. и процесс останавливается.
Реальная трудность состоит в переходе от этой идеи к ее алгебраической реализации. Сначала нужно интерпретировать •слова угол и ребро в ц-мерном пространстве. Угол является точкой пересечения п различных плоскостей, каждая из которых задается одним уравнением—в точности, как три плоскости (или передняя стена, боковая стена и пол) образуют трехмерный угол. Вспомним^ что допустимое множество, в линейном программировании определяется т неравенствами Ах"^Ь и п неравенствами х^О. Каждый из углов’множества образуется путем замены пиз п 4-т неравенств на равенства и отыскания точки пересечения этих
плоскостей. В частности, одна возможность состоит в выборе п уравнений %1 = 0, ..., х„ = 0, что даст начало координат. Как и для всех остальных случаев, эта точка пересечения. будет истинным углом только в том случае, когда она удовлетворяет также и т остальным ограничениям. В противном случае она даже не лежит внутри допустимого множества и является ложной. Пример в упр. 8.1.1 содержал п = 2 переменных и т=2 ограничений; существует шесть возможных пересечений, только три из которых на самом деле являются углами допустимого множества (см. рис. 8.4). Эти углы обозначены через Р, Q, R; они
дают векторы (0, 6), (2, 2), (6, 0), один из которых должен быть оптимальным (кроме случая, когда минимальная стоимость равняется —оо). Остальные три угла, включая начало координат, являются ложными. .
В общем случае имеется (n + m)!/n!m! возможных пересечений, что равняется числу способов, которыми можно выбрать п из п + т плоскостей1). Если допустимое множество является пустым, то ни одно из этих пересечений не будет настоящим углом допустимого множества. Отыскание настоящего угла или установление пустоты допустимого множества является задачей первой фазы; в дальнейшем предполагается, что некоторый угол уже найден. . ‘
Уберем одну из п пересекающихся плоскостей; в результате останется п—1 уравнений и, следовательно, одна степень свободы. Точки, удовлетворяющие этим п — 1 уравнениям, образуют ребро, выходящее из угла. Геометрически это ребро является
Ч Величина этого числа и объясняет, почему вычисление стоимости для всех углов является совершенно нереальной задачей при больших п.
пересечением п— 1 плоскостей. Поскольку мы должны оставаться в допустимом множестве, то мы не можем выбирать направление движения вдоль ребра: только одно направление остается допустимым. Но мы можем выбирать любое из п различных ребер, и этот выбор осуществляется фазой 2.
Для описания этой фазы мы должны переписать систему Ах ^ b в форме, совершенно аналогичной п простым ограничениям хг О, ..., хп ^ 0. Для этого служат переменные невязки w = = Ах—b. С их помощью т ограничений Ах^Ь переходят в ^ ^ 0, .. ., wm ^ 0 с одной переменной невязки для каждой строки матрицы А. Тогда уравнение w=Ax—b, или Ах—w = b, в матричной форме записывается как
- [Л — /] Г х 1 = Ь.
w
Допустимое множество определяется этими т уравнениями и nA-т простыми неравенствами х^О, гд^О. Другими словами, обычная задача привелась к каноническому виду с ограничениями в виде равенств.
Для завершения этого перехода остается устранить различие между исходным вектором х и новым вектором w, поскольку они не различаются в симплекс-методе и сохранять обозначения
[Д — /] и " х
W
не имеет смысла,- Поэтому мы изменим обозначения и будем обозначать через А расширенную матрицу, а через х расширенный вектор. Тогда ограничения-равенства запишутся в виде Ах = Ь и п-Ат простых неравенств перейдут в х^О). Начальный вектор стоимости с должен быть расширен путем добавления т нулевых компонент; тогда стоимость сх при новой интерпретации обозначений х и с совпадает с исходной. Единственное отличие,
вызванное введением переменных невязки, состоит в том, что матрица А будет иметь размер mx(n Д-m), а вектор х будет иметь nA-т компонент. Мы сохраняем старые обозначения т и п в качестве напоминания о произведенной замене. -
Пример. В задаче, проиллюстрированной на рис. 8.4, с огра
ничениями x + 2z/^6, 2х + </^6 и функцией стоимости хА-у
новая система имеет вид
Л = Г1 2 —101 ,2 10—1Л = Г1 2 —101 ,2 10—1Ь = ГбЬ = Гб66и с = [1 1 0 0].и с = [1 1 0 0].
Л = Г1 2 —101 ,
2 10—1
Л = Г1 2 —101 ,
2 10—1
Ь = Гб
Ь = Гб
6
6
и с = [1 1 0 0].
и с = [1 1 0 0].
После этого перехода к ограничениям-равенствам можно применять симплекс-метод. Вспомним, что фазой 1 уже найден угол допустимого множества, т. е. точка пересечения п плоскостей: п исходных неравенств х^О и Ах^Ь (или т^О) преобразованы в уравнения. Другими словами, угол есть точка, в которой п
равныравнышшкомпонент нового вектора г I или исходного вектора
равны
равны
ш
ш
нулю. В системе Ах = Ь мы будем считать эти п компонент вектора х свободными переменными, а остальные т компонент—базисными переменными. Тогда, полагая п свободных переменных равными нулю, из т уравнений системы Ах = Ь находим т базисных переменных. Это решение х называется базисным в соответствии с тем, что оно полностью зависит от базисных переменных. Если, кроме того, ненулевые компоненты вектора х .неотрицательны, то соответствующий угол будет истинным, т. е. . принадлежащим допустимому множеству.
8А. Углы допустимого множества являются базисными допустимыми решениями системы Ах = Ь: решение х является базисным, когда п из т-\-п его компонент равны' нулю, и оно допустимое, если х^О. Первая фаза симплекс-метода дает одно базисное допустимое решение, а вторая фаза служит для последовательного приближения к оптимальному решению.
Пример. Угловая точка Р на рис. 8.4 дается пересечением прямых х=0 и 2х+</—6 = 0, так что две компоненты вектора х равны нулю, а две другие положительны. Следовательно, он является базисным и допустимым:
Ах- Г1 2—102 10—1Ах- Г1 2—102 10—1
Ах- Г1 2—10
2 10—1
Ах- Г1 2—10
2 10—1
Остается принять главное решение: в какой угол следует теперь переходить? Мы нашли один угол, в котором т компонент вектора х являются "положительными, а остальные—нулями, и хотим двигаться вдоль ребра допустимого множества в соседний угол. Тот факт, что эти два угла являются соседними, означает, что из т базисных переменных т— 1 останутся базисными и лишь одна станет свободной (нулем). Одновременно одна из свободных переменных станет базисной; ее значение из нуля станет положительным, а остальные т— 1 основных переменных изменятся, оставаясь положительными. Задача состоит в том, чтобы решить, какую переменную следует исключить из базисных и
какую добавить. Если мы знаем, какие т переменных являются базисными в новом углу, их значения вычисляются путем решения системы т уравнений Ах = Ь, где оставшиеся компоненты вектора х полагаются равными нулю.
Поясним сказанное на примере:
Минимизировать 7х3—х4— Зх3 при условиях -
х4 х3 -j- 6х4 2х3 — 8,^г + ^з + 3хв = 9.
Начинаем с угла, где х, = 8 и х2 = 9 (они являются базисными переменными) и х3 = х4 = х5 = 0. Ограничения удовлетворяются, но стоимость может не быть минимальной. Фактически именно функция стоимости определяет, какую свободную переменную нужно ввести в базис. Глупо делать положительной переменную х3, поскольку коэффициент при ней равен +7, а мы пытаемся уменьшить стоимость. Целесообразно выбирать переменную х4 или хь, и мы выберем х5, поскольку коэффициент —3 при ней является более отрицательным. Если бы все коэффициенты были положительны, то исходное .решение уже являлось бы оптимальным.
Если переменная хб включается в базис, то либо xv либо х, следует исключить из него. Если х5 увеличивается в первом из уравнений, a Xj уменьшается, с тем чтобы сохранить равенство х4 + 2хв = 8, то xt окажется равной нулю при хв = 4. К этому моменту, однако, величина х2 во втором уравнении уже станет отрицательной: хв=4 влечет за собой равенство х2 =—3. Правило состоит в том, чтобы увеличивать х5 до тех пор, пока одна из базисных переменных не станет равной нулю, после чего она становится свободной. В нашем случае хг равняется нулю при х5 = 3 и из первого уравнения получаем, что х4 = 2. Стоимость при этом падает до —9. В общем случае мы вычисляем отношения правых частей к коэффициентам при включаемой переменной; 8/2 и 9/3, и наименьшее отношение показывает, какая из переменных станет свободной.
Это правило учитывает лишь положительные отношения, поскольку если коэффициент при х5 будет равен —3 вместо +3, то увеличение х6 будет одновременно увеличивать х2 (при хб = 10 мы получим х2=4-39 во втором уравнении) и мы никогда не получим нулевого х2. Если все коэффициенты при х5 являются отрицательными, то мы имеем неограниченный случай: х5 можно неограниченно увеличивать и при этом стоимость будет убывать до —оо, причем мы не покинем допустимое множество. Ребро является бесконечно длинным.
В нашем случае» шаг заканчивается в углу х4 = 2, х2 = х3 = = х4 = 0, хв = 3. Однако следующий шаг будет простым только
в том случае, когда уравнения имеют подходящий вид—когда базисные переменные выделены, как это было в исходной ситуации с ^ и х2. Для этого мы осуществляем «выделение ведущего элемента», решая второе уравнение относительно х5 и подставляя результат в функцию стоимости и в первое уравнение: Зх5= = 9 — х2—х3, так что новая задача имеет вид:
минимизировать 7х3—х4— (9 — х2—х3) = х24-8х3—х4— 9 при условиях
21
Х4 д" Х2 4 д" х3 6х4= 2,
, 1,о
■д' хг + у х3+ х5 — 3.
Следующий шаг осуществляется просто. Единственный отрицательный коэффициент в функции стоимости означает, что должна включаться переменная х4. Отношения 2/6 и 3/0 означают, что исключаться должна переменная xt. Новый угол задается соотношениями Х1 = х2 = х3 = 0, х4=1/3, х5 = 3, и новая стоимость равна —9у. Она и является оптимальной.
В задачах большей размерности исключаемая переменная впоследствии может вновь попасть в базис. Однако поскольку стоимость продолжает снижаться (исключая вырожденный случай), ситуация, когда все т базисных переменных вернутся, невозможна. Ни один угол не посещается дважды, и процесс должен остановиться в оптимальном углу (или на —оо, если стоимость является неограниченной). Что самое замечательное, так это быстрота, с которой обычно находится оптимальный угол.
Замечание о вырожденности. Угол называется вырожденным, если в нем равны нулю не п компонент вектора х, а больше, т. е. через этот угол проходит больше чем п плоскостей и некоторые из базисных переменных обращаются в нуль. В симп- лекс-методе признаком этого служит появление нуля в правой части уравнений. В результате этого отношения, определяющие исключаемую переменную, будут содержать нули и базис может изменяться без выхода из данного угла; на самом деле мы могли бы до бесконечности кружиться на месте, выбирая базис.
Такую ситуацию можно устранить либо путем соответствующей перестройки симплекс-метода, либо предполагая, что зацикливания не происходит. К счастью, последнее согласуется с вычислительной практикой.
Упражнение 8.2.1. Минимизировать xt+x2—х3 при условиях
2х4—4х2-/ x3-f- х4 = 4,Зх4-р 5х2Т-х3 4 х3 —2.
Какая из переменных хъ х2, х3 должна быть включена в базис и какая из х4, х5 должна его покинуть? Вычислить новую пару базисных переменных и найти стоимость в новом углу.
Упражнение 8.2.2. Сделав первый шаг, подготовить и осуществить следующий.
ТАБЛИЦА
Каждый шаг симплекс-метода состоит из принятия решений и операций над строками матрицы: нужно выбрать входящую и исключаемую переменные и осуществить это включение и исключение. Один из способов организации этого состоит во включении данных в большую матрицу, называемую таблицей. Чтобы объяснить все операции, мы сначала осуществим их в терминах матриц, присутствующих в формуле для стоимости (и для критерия остановки процесса, которому удовлетворяет лишь оптимальный угол). Нам задана матрица А, правая часть b и вектор стоимости с, так что исходная таблица имеет вид
Т = ГА\Ь-
Lc
Эта матрица имеет размер (m+l)x(m + ^ +1). В таком ее виде базисные переменные легко спутать с другими и поэтому первый шаг заключается в том, чтобы оставить по одной базисной переменной в каждой строке, после чего станет легко принимать решения. Предположим, что Xj, .. ., хт являются базисными переменными (при необходимости можно произвести перенумерацию), а остальные п переменных являются свободными. Тогда первые т столбцов матрицы А образуют квадратную матрицу В (базисную матрицу для этого угла) и оставшиеся п столбцов дают матрицу F размера тхп. Аналогичным образом вектор стоимости с разбивается на [с8 cF], а вектор х—на [х8 xF]T. Основной момент состоит в том, что в этом углу xF=0 и уравнение Ах = Ь превращается в Вхв = Ь, откуда находятся базисные переменные хв. Таким образом, стоимость равняется сх = свхв. Для работы с таблицей мы мысленно разбиваем ее на клетки:
Т = ГВ\Р\Ь"
L_CB ; CF: 0 j
Базисные переменные будут разделены, если мы сможем заменить матрицу В единичной матрицей. Это достигается при помощи нреобразований строк, и в результате получаем
Т' = П \B-iF
LCB1 CF О J
Естественно, матрица, преобразующая В в I, есть В-1, хотя она нигде не присутствует явно. Поэтому все вычитания одной строки из другой в совокупности эквивалентны умножению на В-1. (Фактически мы производим шаг метода Гаусса—Жордана, аналогичный описанному на стр. 45; ведущие элементы устраняются путем деления на них, так что на диагонали остаются единицы, а над ними и под ними получаются нули.) Для завершения мы используем эти единичные ведущие. элементы, чтобы получить нули также и в нижней строке, где теперь расположен вектор св. Для этого первая строка умножается на ct и вычитается из последней, затем вторая строка умножается на с2 и т. д., т. е. св умножается на верхнюю часть матрицы и вычитается из нижней:
Т" = г/
B^F
В^Ь
cF—свВ~гР
—cBB-1b
На этом построение таблицы заканчивается и остается лишь правильно ее интерпретировать. Наша задача заключалась в минимизации сх при х^О, Ах = Ь. Уравнение Ах = Ь умножалось на В-1, давая в результате ■
xB + B-1FxF=B-1b1 (1)
и стоимость сх = свхв + cFxF превращалась в .
. cx = (cF—cBB~rF) xF + cBB~1b. (2) Важно то, что таблица содержит все нужные величины. Справа расположены базисные переменные хв = В~1Ь (свободные переменные суть л>=0). Текущая стоимость равняется сх= свВ~Ч> и находится внизу справа со знаком минус. И, что самое важное, мы можем определить, является ли данный угол оптимальным, взглянув на функцию стоимости, расположенную в середине нижней строки. Если какой-либо из ее элементов является отрицательным, то стоимость может быть уменьшена. Если все коэффициенты положительны или равны нулю, то любое изменение может только увеличить стоимость и наилучший угол найден. Это и есть критерий останова, или условие оптимальности:
Если вектор r = cF—cBB~1F является неотрицательным, то уменьшить стоимость невозможно; угод уже является оптимальным и минимальная стоимость равняется свВ~1Ь. Следовательно, условие г ^ 0 является критерием останова симплекс-метода. Если это условие не выполняется, то каждая отрицательная компонента вектора г соответствует ребру, вдоль которого стоимость может быть уменьшена и обычной стратегией является выбор наибольшей по модулю отрицательной компоненты вектора г.
Если по этому правилу была выбрана г-я компонента вектора г, то исходный угол не. является оптимальным и i-я компонента (скажем, а) вектора xF станет положительной. Остается вопрос, насколько большой становится эта компонента? Мы решили, какая компонента из свободной станет базисной, а теперь мы должны решить, какая из базисных компонент должна стать свободной." При увеличении а некоторые компоненты вектора хв могут начать уменьшаться, и мы попадаем в следующий угол, когда какая-либо компонента вектора хв окажется равной нулю. Именно эта компонента (скажем, fe-я) становится свободной переменной. В этой точке мы получим новый вектор х, который одновременно является допустимым и базисным: он является допустимым, так как по-прежнему х^О, и он базисный, поскольку мы вновь имеем п нулевых компонент. При этом i-я компонента вектора xF, которая изменилась от нуля до а, заменяет k-ю компоненту вектора хв, которая обратилась в нуль. Остальные компоненты вектора хв также изменятся, но останутся положительными.
8С. Пусть и есть i-й столбец матрицы F, который был выбран по 8В, чтобы стать из свободного базисным. Тогда соответствующая компонента в новом углу х равняется
(3)(3). (В-1^ (В-ЧН
(3)
(3)
— m 1 n z п 1 ч n \ •
(В-1^;(B-4)k
Минимум берется только по положительным компонентам вектора В-1и. Если положительные компоненты отсутствуют, то следующий угол расположен бесконечно далеко и стоимость можно уменьшать безгранично; минимальная стоимость равняется —оо. В противном случае старый к-й столбец матрицы В заменяется новым столбцом и симплекс- метод начинает работать в новом углу.
Столбцы В~1Ь и В~ги присутствуют в окончательной таблице ^В-1и является столбцом матрицы B~1F и расположен над самым отрицательным элементом в нижней строке г), так что отношения сразу вычисляются.
Пример. При функции стоимости вида x-Vy и ограничениях х + 2у—ы = 6, 2х + у—и=6, которые мы рассматривали выше, первая таблица имеет вид
Г1 2 — 10 6'
210-16.
.11000
Если мы начинаем с того же угла Р на рис. 8.4, в котором прямая х = 0 пересекается с 2х + # = 6 (что эквивалентно равенству и = 0), то базисными будут оставшиеся две переменные у и и. Для единообразия переставим местами первый и третий столбцы, после чего вектор у будет расположен до х:
Т = г— 1 2Д 0^6-0 П2 —U 6
0 1 i 1 Oi 0
Для процесса исключения умножим первую строку на —1, что даст единичный ведущий элемент, и после этого при помощи второй строки получим нули во втором столбце:
103—2i6012—!60oi— 11 i—6103—2i6012—!60oi— 11 i—6
1
0
3
—2i
6
0
1
2
—!
6
0
oi
— 1
1 i
—6
1
0
3
—2i
6
0
1
2
—!
6
0
oi
— 1
1 i
—6
Первым делом посмотрим на г = [—1 1] в нижней строке. Он имеет отрицательную компоненту, так что текущий угол и = = у = 6 и текущая стоимость +6 не являются оптимальными. Отрицательная компонента находится в третьем столбце, так что третья переменная х будет включаться в базис. Столбец над этой
[
3 1
2 , и его отношения с последним столбцом равны 6/3 и 6/2. Поскольку первое отношение меньше, первая неизвестная и (и первый столбец таблицы) будет исключаться из базиса.
В новой таблице мы меняем местами первый и третий стол
элементов по методу исключения вэлементов по методу исключения вбец, и выделение ведущих этой таблице дает х
элементов по методу исключения в
элементов по методу исключения в
Теперь г = [1/3 1/3] является положительным и критерий останова проходит. Угол х = у = 2 и соответствующая стоимость +4 будут оптимальными.
Упражнение 8.2.3. Пусть исходная функция стоимости имеет вид Зх+у, так что после перестановки с = (0, 1, 3, 0) в углу Р. Показать, что гЭаО и, следовательно, что этот угол является оптимальным.
Упражнение 8.2.4. Пусть исходная функция стоимости имеет вид х — у, так что после перестановки с = (0, —1, 1, 0) в углу Р. Вычислить г и определить, какой столбец и должен быть включен в базис. После этого вычислить В-1и и. показать (используя его знак), что другой угол никогда не будет достигнут. Мы поднимаемся вдоль оси у (см. рис. 8.4) и величина х—у убывает к —оо.
Упражнение 8.2.5. В том же самом примере изменить стоимость на х+Зу. Проверить, что симплёкс-метод будет переводить нас от Р к Q и к R и что угол R является оптимальным.
Упражнение 8.2.6. Первая фаза состоит в отыскании базисного допустимого решения системы Ах = Ь. После изменения знаков, чтобы сделать бЭгО, рассмотреть дополнительную задачу минимизации aii4-to2+• •-Ч-^т пРи условиях х^О, ш^О, Ах-\-™=Ь. Если система Ах=Ь имеет неотрицательное решение, то минимальная стоимость в этой задаче будет равняться нулю — с а>*=0.
Показать, что для новой задачи угол х=0, w=b является одновременно базисным и допустимым. Поэтому для нее первая фаза уже выполнена и симплекс-метод может начинать работу по отысканию оптимальной пары х*, w*. Если о>*=0, то х* есть требуемый угол исходной задачи.
для А = [1 —1] и 6 = [3] выписать дополнительную задачу, вектор ее первой фазы из предыдущего пункта (а) и оптимальный вектор. Найти угол допустимого множества х, — х2 = 3, х,>0, х2^0 и нарисовать это множество.
Упражнение 8.2.7. Если мы хотим максимизировать, а не минимизировать стоимость (по-прежнему для Ах=Ь и х5а0), то каким будет критерий останова для г? По каким правилам должны выбираться столбцы матрицы F, которые следует сделать базисными, и столбцы матрицы В, которые должны становиться свободными?
Упражнение 8.2.8. Минимизировать; 2xj + x2 при условиях х1-фх2^4, X] —]— Зх2 ^^ 12, Xj — х2 ^^ 0, х, ^^ 0, х2 У".:.- 0.
ОРГАНИЗАЦИЯ ШАГА СИМПЛЕКС-МЕТОДА
Мы осуществили переход от геометрии симплекс-метода к его алгебре,'т. е. от языка «углов» к языку «базисных допустимых решений». Теперь мы знаем, что основную роль играют вектор г и отношение а, и хотим вновь вернуться к их вычислению. Это является основой симплекс-метода и может быть организовано тремя способами:
составлением таблицы;
вычислением В-1 всякий раз, когда А-й столбец матрицы В заменяется i-м столбцом и из F; '
вычислением B = LU и пересчетом этих множителей вместо В-1.
Этот список представляет собой краткую- историю симплекс- метода. В некотором смысле наиболее удивительным его этапом был первый—таблица,—который был доминирующим в течение многих лет. Для большинства из нас он привносил в линейное
программирование ощущение тайны главным образом потому, что он ухитрялся почти полностью обходиться без матричных обозначений (поскольку все матрицы выписывались целиком!). Однако с вычислительной точки зрения пора таблиц кончилась . (кроме простых задач в учебниках).
Дело в том, что, после того как вектор г вычислен и его максимальная по модулю отрицательная компонента показала, какой столбец будет включен в базис, ни один из оставшихся столбцов, расположенных над г, не будет использоваться. Их вычисление является пустой тратой времени. В большой задаче сотни столбцов будут вычисляться снова и снова в ожидании своей очереди для включения в базис. Столь тщательное проведение всех исключений дает теоретическую строгость, но является неоправданным для практики.
Пора заканчивать описание табличного метода. Значительно быстрее и значительно проще оказывается рассмотрение еимплекс- метода и выяснение того, какие вычисления действительно являются необходимыми. На каждом шаге мы должны переставлять столбец матрицы F со столбцом матрицы В и решать (в соответствии с г и се), какие именно столбцы должны меняться местами. Этот шаг состоит в выполнении следующего набора операций, начинающегося с данной базисной матрицы В и решения хв = В-1Ь; '
Таблица 8.1. Шаг симплекс-метода
Вычисляем вектор-строку К = cBB~i и вектор r = cF—XF.
Если г^О, то процесс останавливается; текущее решение является оптимальным. В противном случае если г, есть наибольшая по модулю отрицательная компонента, то 1-й столбец матрицы F будет включаться в базис. Обозначим его через и.
Вычисляем и = В~ки. '
Вычисляем отношения В~1Ь к В~1и для положительных компонент В~1и. Если положительные компоненты отсутствуют, то минимальная стоимость равна—оо; если же наименьшим является отношение k-x "компонент, то будет заменяться к-й столбец матрицы В.
Переписываем В ^или S-1) и решение хв = В^Ь и переходим к первому пункту таблицы. ■
Эта методика иногда называется исправленным симплекс-методом, чтобы отличать ее от действий с таблицей. На самом же деле она и представляет собой (в сжатом виде) симплекс-метод.
Для завершения этого обсуждения остается решить, каким образом должны осуществляться первый, третий и пятый шаги,
на которыхна которыхмы вычисляем
на которых
на которых
(4)(4)К = свВ-1, v = B~1u и хв= В~гЬ.
(4)
(4)
Чаще всего работают непосредственно с матрицей В-1, вычисляя ее в явном виде по базисным столбцам матрицы В, взятым в исходном углу. Тогда в последующих углах процесс вычисления будет простым. Мы помещаем новый вектор В~1и в k-й столбец таблицы (исключаемый столбец) и затем переводим соответствующую матрицу в единичную матрицу путем исключений:
(5)(5)В^и
(5)
(5)
Естественно, преобразующая матрица есть Е-1. После вычисления матрицы В-1 для первого угла в симплекс-методе матрица В-1 для каждого последующего угла находится путем умножения слева на В-11). '
Вместо фактического изменения матрицы В-1 проще хранить в памяти лишь матрицы В-1. Затем они последовательно применяются к заданным векторам св, и и Ь, но не ко всем столбцам матрицы F. Это называется «обратной матрицей в виде произведения». Для устранения громоздких вычислений, текущая матрица В периодически обращается заново; тогда информация, содержащаяся в матрицах В-1, может быть стерта.
Более новый подход, заключается в использовании обычных методов линейной алгебры, если рассматривать (4) как три уравнения с одной и той же матрицей коэффициентов В:
ХВ = св, Ви = и, Вхв = Ь. (6)
Тогда стандартное разложение B = LU (или PB = LU, где допускаются перестановки строк для повышения устойчивости счета) сразу дает три решения. В книге Ленбергера (см. список литературы) объясняется, как можно избежать пересчета этих сомножителей.
Остается ответить на один вопрос: сколько шагов симплекс- метода нам придется сделать? Заранее ответить на этот вопрос невозможно. Опыт показывает, что метод использует около т
*) Эта матрица найдена в упр. 8.2.9, и она является столь же простой, как и Е.".’.
различных углов, т. е. требует примерно т?п действий—величина, сравнимая с объемом вычислений при использовании метода исключения для системы Ах = Ь, — чем и объясняется успех симплекс-метода. Но математические расчеты показывают, что длина пути не всегда может быть ограничена числом, кратным т, или фиксированной степенью числа т. Сейчас известно, что наихудшие допустимые множества могут дать путь, состоящий более чем из стп^ ребер, где число с не зависит от т, но по какой-то причине, лежащей в геометрические свойствах многомерных многогранников, симплекс-метод оказывается «везучим».
Упражнение 8.2.9. Проверить, что
"1 — Vi/vkГ1 Ui ~
Е-1 =\Jv^, если Е =
‘L — vnlvk lji_
yn L
Упражнение 8.2.10. Показать, что матрица BE совпадает с В, кроме А-го столбца, который заменяется на Во (что равняется искомому вектору и). Поэтому BE действительно является базисной матрицей В для следующего шага, обратная к ней есть Е~1В~1 и сомножитель Е-1 правильно корректирует обратную матрицу.
Упражнение 8.2.11. Можно ли найти в табл. 8.1 место, где требуется тп операций?
,§ 8.3. ТЕОРИЯ ДВОЙСТВЕННОСТИ
Вторая глава начиналась с утверждения о том, что, хотя метод исключения и дает способ для решения системы Ах = Ь, возможен другой и более глубокий подход. То же самое справедливо и для линейного программирования. Механика симплекс-метода позволяет решить линейную программу, но центром теории линейного программирования является идея двойственности. Это красивая идея, и в то же время она очень важна для приложений. Объясним, как мы ее понимаем.
Начнем со стандартной задачи:
Исходная задача:
Минимизировать сх при условиях х^?0 и Ах^Ь.
Но теперь вместо введения эквивалентной формулировки, содержащей уравнения вместо неравенств, двойственность ставит совершенно иную задачу. В двойственной задаче мы начинаем с тех же самых А, b и с, но затем все делается наоборот.
В исходной задаче с было функцией стоимости и b был ограничением; в двойственной задаче эти векторы меняются местами. Более того, знак неравенства изменяется на противоположный и новые неизвестные составляют вектор-строку у, так что допустимое множество будет удовлетворять неравенству у А ^с вместо Лх^б. Наконец, вместо минимизации мы будем максимизировать. Лишь требование неотрицательности ' остается неизменным; неизвестный вектор у, содержащий т компонент, должен удовлетворять условию у^О. Короче говоря, двойственной к задаче на минимум является следующая задача на максимум:
Двойственная задача.
Максимизировать yb при условиях у^О и уА^с.
Двойственная к этой задаче совпадает с исходной задачей на минимум1).
Естественно, я должен как-то проинтерпретировать все эти обращения. Они заключают в себе нечто вроде конкуренции между «минимизатором» и «максимизатором». Легче всего будет объяснить это, вернувшись к задаче о диете; я надеюсь, что вы проследите за ходом рассуждений еще раз. В задаче на минимум п неизвестных, соответствующих п различным продуктам питания, которые потребляются в (неотрицательных) количествах xv . . ., хп. При этом т ограничений соответствуют т требуемым витаминам вместо одного ограничения на количество протеина, которое делалось в исходной задаче о диете. Элемент а1} представляет собой количество i-ro витамина в j-м продукте, и i-я строка системы Ах^Ь означает, что диета должна содержать этот витамин в количестве, не меньшем чем Ь;. Наконец, если с5 есть стоимость /-го продукта, то с^А-• • ■ А-спхп = сх является стоимостью всей диеты. Минимизация этой стоимости и составляет цель исходной задачи.
В двойственной задаче аптекарь реализует не еду, а витамины в таблетках. Цены на витамины не отрицательны, и их можно варьировать. Основное ограничение здесь состоит в том, что он не может запрашивать за витамины больше, чем стоит настоящая еда. Поскольку /-й продукт питания содержит витамины в количествах а^, цена, назначаемая аптекарем за эквивалент в витаминах (и равная а^ух-\- • • • А-ат;УтЬ не может превосходить . цену Су настоящего продукта. Это и дает ограничение уА^с. С учетом этого ограничения аптекарь может продавать каждый витамин в количестве бу, получая доход в размере' у1Ь1А- • • • A-ymbm = yb) который он стремится максимизировать.
х) Эти две задачи полностью симметричны. Мы начали с минимизации, но симплекс-метод в равной мере может быть применен к задаче максимизации— и в любом случае решаются обе задачи.
Следует отметить, что допустимые множества в этих двух задачах совершенно различны. Первое является подмножеством пространства R", характеризуемым матрицей Л и вектором ограничений Ь; второе является подмножеством пространства R™, определяемым транспонированной к А матрицей и другим вектором с. Тем не менее при включении функций стоимости обе задачи будут содержать одни и те же входные данные А, b и с. Вся теория линейного программирования базируется на соотношениях между ними, и мы приходим к фундаментальному результату: "
8D. Теорема двойственности. Если исходная задача имеет решение, то двойственная к ней задача также разрешима, и наоборот. При этом значения решений совпадают: минимум величины сх равняется максимуму величины yb. В противном случае, если оптимальных векторов не существует, либо оба допустимых множества являются пустыми, либо одно множество является пустым и другая задача имеет неограниченное решение (максимум равен 4- сю или минимум равен —сю).
Если оба допустимых множества являются непустыми, то реализуется первый и наиболее важный случай: сх* — у*Ь.
■ Теоретически этот факт устраняет конкуренцию между аптекарем и бакалейщиком, поскольку результат всегда «ничейный». Мы получим похожую «теорему о минимаксе» и аналогичное равновесие в теории игр. Эти теоремы не означают, что покупатель ничего не платит за оптимальную диету или что матричная игра дает равные шансы обоим игрокам. Они означают, что для покупателя нет смысла предпочитать витамины обычной еде, несмотря на то что аптекарь гарантирует наличие заменителя для любого продукта и даже продает по более низкой цене заменитель такого дорогого продукта, как арахисовое масло. Мы хотим показать, что дорогие продукты не включаются в оптимальную диету, так что результат все-таки будет одним и тем же.
Это положение может показаться безвыходным, но я надеюсь, что оно не смутит вас, ведь решающая информация содержится в оптимальных векторах. В исходной задаче х* указывает стратегию для покупателя; в двойственной задаче вектор у* фиксирует естественные цены (или «теневые цены»), которых должна придерживаться экономика. В той. мере, в которой наша линейная модель отражает реальную экономику, эти векторы представляют те решения, которые действительно следует принимать; их надо найти при помощи симплекс-метода, и теорема двойственности всего лишь говорит нам об их наиболее важном свойстве.
Приступим к доказательству теоремы. В некотором смысле может показаться очевидным, что аптекарь в состоянии поднимать цены до цен бакалейщика, но это не так. Точнее, верна лишь первая часть: поскольку каждый отдельный продукт может быть заменен своим витаминным эквивалентом без увеличения стоимости, все адекватные продуктовые диеты должны стоить не меньше, чем любая витаминная диета у аптекаря. Это одностороннее неравенство—цена у аптекаря^, цена у бакалейщика,— но оно является основополагающим. Оно называется слабой двойственностью и легко доказывается для любой линейной программы и двойственной к ней:
Если х и у являются допустимыми векторами в задачах | на минимум и на максимум соответственно, то yb сх.
Доказательство. Поскольку указанные векторы являются допустимыми, они удовлетворяют неравенствам
Ах ^ b иу А ^ с.
Более того, поскольку допустимость подразумевает также и неравенства х^О и у^О, мы можем перейти к скалярным произведениям, не нарушая при этом знаков неравенств:
у Ах ^ ybиу Ах <' сх.(7)
Поскольку левые части неравенств совпадают, мы получаем слабую двойственность yb^.cx.
Одностороннее неравенство легко можно использовать. Во- первых, оно запрещает возможность того, что решения обеих задач являются неограниченными: если yb — произвольно большое число, то не существует даже допустимого вектора х, поскольку это противоречило бы неравенству yb^Zcx. Аналогичным образом, если исходная задача была неограниченной, т. е. стоимость сх могла убывать до —оо, то двойственная задача не имеет допустимых векторов у.
Второй и столь же важный момент заключается в том, что любые векторы, для которых достигается равенство yb = сх, должны быть оптимальными. В этом случае цена у бакалейщика совпадает с ценой у аптекаря, и мы узнаем цены оптимальной продуктовой и Оптимальной витаминной диет по тому факту, что покупателю не из чего выбирать:
I
8F. Если векторы х и у являются допустимыми и если cx = yb, то эти векторы должны быть оптимальными.
Доказательство. Согласно 8Е, не существует такого допустимого вектора у, что yb становится больше, чем сх. По-
скольку вектор у достигает этого значения, он является оптимальным. Аналогично никакой допустимый вектор х не может сделать величину сх меньшей, чем yb, и любой х, для которого этот минимум достигается, должен быть оптимальным.
Сформулируем пример с двумя продуктами и двумя витаминами. Заметим, что в двойственной задаче появляется матрица Ат, поскольку неравенство уА<_с для вектор-строк эквивалентно А^у^^с^ для столбцов.
Исходная задача:Исходная задача:Минимизировать х1ф-4х2Минимизировать х1ф-4х2при условияхпри условияхХх ^ 0, х2 ^ О, 2xj 4-х3 ^ 6, 5xt -j-3x2 ^ 7.Хх ^ 0, х2 ^ О, 2xj 4-х3 ^ 6, 5xt -j-3x2 ^ 7.Двойственная задача:Максимизировать 6z/14-7y2 при условиях ух ^ 0, у2 > О, 2t/i + 5у21,Ух + Зу2 =С 4.Двойственная задача:Максимизировать 6z/14-7y2 при условиях ух ^ 0, у2 > О, 2t/i + 5у21,Ух + Зу2 =С 4.
Исходная задача:
Исходная задача:
Минимизировать х1ф-4х2
Минимизировать х1ф-4х2
при условиях
при условиях
Хх ^ 0, х2 ^ О, 2xj 4-х3 ^ 6, 5xt -j-3x2 ^ 7.
Хх ^ 0, х2 ^ О, 2xj 4-х3 ^ 6, 5xt -j-3x2 ^ 7.
Двойственная задача:
Максимизировать 6z/14-7y2 при условиях ух ^ 0, у2 > О, 2t/i + 5у21,
Ух + Зу2 =С 4.
Двойственная задача:
Максимизировать 6z/14-7y2 при условиях ух ^ 0, у2 > О, 2t/i + 5у21,
Ух + Зу2 =С 4.
Выбор Xj = 3, х2 = 0 является допустимым и дает стоимость х1 + 4х2 = 3. В двойственной задаче числа ^ = 1/2 и у2 = 0 дают то же самое значение 6t/1 + 7y2 = 3. Следовательно, эти векторы должны быть оптимальными.
Все это кажется исключительно простым. Тем не менее имеет смысл взглянуть на проблему более внимательно и выяснить, что происходит в тот момент, когда неравенство yb ^ сх переходит в равенство. Это похоже на ситуацию в дифференциальном исчислении, где каждому известно условие максимума или минимума функции, состоящее в равенстве нулю первых производных, и тем не менее часто забывают, что это условие совершенно меняется при наличии ограничений. Наилучшим примером является наклонная прямая; производная никогда не обращается в нуль, дифференциальное исчисление почти бесполезно и максимум определенно достигается на правом конце интервала. Это в точности соответствует ситуации, с которой мы сталкиваемся в линейном программировании. Хотя переменных здесь больше и обычный интервал заменяется допустимым множеством нескольких измерений, максимум всегда достигается в углу допустимого множества. Говоря на языке симплекс-метода, существует оптимальный вектор х, являющийся базисным, т. е. он имеет лишь т ненулевых компонент.
Реальная трудность линейного программирования состоит в том, чтобы определить, какой именно угол является оптимальным. Следует отметить, что в решении этой задачи дифференциальное исчисление может оказаться полезным и даже весьма полезным, поскольку метод «множителей Лагранжа» вновь возвращает нас к нулевым производным в точках максимума, а двойственные переменные у как раз и являются множителями Лагранжа в задаче минимизации сх. Этот метод играет важную роль и в нелинейном программировании, но мы не будем касаться этого вопроса,
поскольку он выходит за рамки обсуждаемых задач. В математической форме условия на максимум и минимум с ограничениями даются ниже в (8), а сейчас мы хотим сформулировать их в экономических терминах: диета х и цены на витамины у являются оптимальными, если ■
бакалейщик не продает продукт, цена которого больше цены соответствующего витаминного эквивалента;
аптекарь не берет денег за витамины, которые оказываются в излишке в диете.
В нашем примере хг = 0, поскольку второй продукт слишком дорог; его цена превосходит цену у аптекаря, так как У! + Зу2^4 превращается в строгое неравенство 1/2-{-0<4. Аналогичным образом уi = 0, если i-й витамин находится в избытке; он нам не требуется. В примере нам было необходимо семь единиц второго витамина, но диета фактически давала 5х14-3х2 = 15, откуда мы нашли, что у2 = 0. Легко видеть, что двойственность стала полной; мы получаем оптимальную пару лишь тогда, когда оба условия удовлетворяются.
Эти условия легко понять, если мы обратимся к матричной записи. Мы сравниваем вектор Ах с вектором b (вспомним, что условие допустимости есть Ах ^ Ь) и ищем те компоненты, для которых равенство нарушается. Это соответствует избытку данного витамина, так что его цена становится равной У; = 0. Одновременно мы сравниваем уА с с и хотим, чтобы все строгие неравенства (соответствующие дорогим продуктам) давали х; = О (исключение из диеты). Эти условия называются «условиями совместности невязок» в линейном программировании и «условиями Куна—Такера» в нелинейном программировании.
8G. Теорема о равновесии. Пусть допустимые векторы х и у удовлетворяют следующим условиям совместности невязок: если (Ах)(> Ь(, то у£ = 0, и если \уА^, <cf, то Xj=0. (8) Тогда векторы х и у являются оптимальными. И наоборот, если векторы являются оптимальными, то они должны удовлетворять условиям (8).
Доказательство. Основными уравнениями являются
yb = y(Ax>) = ^yA')x = cx. (9)
Обычно мы можем быть уверены лишь в выполнении среднего из равенств. Для первого не вызывают сомнений неравенства у^О и Ах^Ь, откуда yb^y^Ax). Более того, равенство может выполняться лишь в одном случае: как только возникает неравенство Ь^ < (Ах^, множитель у( при этой компоненте должен
обращаться в нуль. Тогда это неравенство не вносит вклад в скалярные произведения и равенство сохраняется.
То же самое справедливо и для оставшегося равенства: условие допустимости дает л: ^ 0 и у А ^ с, откуда получаем неравенство уАх^сх. Равенство достигается лишь при выполнении второго условия невязки: если цена оказывается недопустимой, UfA'^ < С/, то для исправления положения мы должны умножить это неравенство на Xj = 0. В результате получаем в (9) равенство yb = cx, что гарантирует оптимальность х и у (и гарантируется их оптимальностью). '
Пожалуй, об одностороннем неравенстве yb^.cx было сказано достаточно. Доказать его было легко, оно дало нам простой тест для проверки векторов на оптимальность (они превращают неравенство в равенство), и, наконец, мы получили из него набор необходимых и достаточных условий невязки. Единственное, что еще осталось сделать,— это показать, что равенство yb = cx действительно возможно. До тех пор пока оптимальные векторы не будут получены, а сделать это непросто, теорема двойственности не доказана. z
[Л —/]Гх[Л —/]Гх= Ь,= Ь,(10)(10)Чтобы получить оптимальные векторы, вернемся к симплекс- методу, предполагая, что оптимальный вектор х уже вычислен с его помощью. Наша цель состоит в том, чтобы одновременно найти оптимальный вектор у, показав тем самым, что метод остановился на нужном месте и для двойственной задачи, хотя решалась исходная. Для этого вернемся к началу процесса. Вводя переменные невязки w = Ax—b и переписывая условия допустимости в виде
[Л —/]Гх
[Л —/]Гх
= Ь,
= Ь,
(10)
(10)
w
мы преобразовали т неравенств Ах^Ь в уравнения. Затем на каждом шаге метода мы выбирали т столбцов прямоугольной матрицы [Л—/] в качестве базисных и сдвигали их (по крайней мере теоретически) влево. В результате этого получалась матрица В Е] и соответствующий сдвиг в расширенном векторе стоимости с 0] превращал его в [св cj. Условие остановки симплекс-ме
тода имело вид г = сг—cBB-iF ^0. .
Мы знаем, что это условие в. конце концов выполняется, поскольку число углов является конечным. В этот момент стоимость равнялась
сх = [с8сх = [с8сг]сг]В^Ь0В^Ь0= свВ~1Ь—минимальная стоимость.= свВ~1Ь—минимальная стоимость.(И)(И)
сх = [с8
сх = [с8
сг]
сг]
В^Ь
0
В^Ь
0
= свВ~1Ь—минимальная стоимость.
= свВ~1Ь—минимальная стоимость.
(И)
(И)
Если мы можем выбрать у = свВ~х в двойственной задаче, то, разумеется, будет выполняться равенство yb = сх; минимум и
максимум совпадают. Поэтому нужно показать, что у удовлетворяет двойственным ограничениям у А ^ с и у 0, т. е.
УМ -'К к 0].(12)
Когда в симплекс-методе мы преобразуем матрицу [Л — /], чтобы сделать базисные переменные первыми, это перегруппировывает ограничения так, что они приобретают вид
, у\В F\^[cB ^J. (13)
При выборе у = свВ~1 первая половина ограничений превращается в равенство, а вторая — в cBB-1F ^cF, что в точности совпадает с условием останова г^О, которое, как мы знаем, удовлетворяется. Поэтому вектор у является допустимым и теорема двойственности доказана. Выделив соответствующую матрицу В порядка т, которая является невырожденной по предположению, симплекс-метод выработал одновременно векторы у* и х*.
Упражнение 8.3.1. Найти двойственную к следующей задаче: минимизировать х^-х? при условиях xi^O, х2^0, 2xj 2э 4, х1+Зх2^Н. Найти решение этой задачи и двойственной к ней и вычислить их общее значение.
Упражнение 8.3.2. Что является двойственной к следующей задаче: максимизировать уг при условиях ух За 0, у22э0, У1-\-1/2^3? Решить эту задачу и двойственную к ней.
Упражнение 8.3.3. Пусть задана единичная матрица А (так что m = n) и неотрицательные векторы бис. Объяснить, почему вектор х* =Ь является оптимальным для задачи на минимум, найти оптимальный вектор у* для задачи на максимум и проверить, что значения совпадают. Что произойдет с векторами х* и у*, если некоторые компоненты вектора 6 станут отрицательными?
Упражнение 8.3.4. Построить одномерную задачу, для которой условйя Ах5гЬ, х^О являются недопустимыми и двойственная задача оказывается
неограниченной.
найти таи у А < с.найти таи у А < с., Г1 °"
найти таи у А < с.
найти таи у А < с.
Упражнение 8.3.5. Для матрицы второго порядка А =
кие векторы би с, чтобы оба допустимых множества Ах^Ь, х5=0 у За 0 были пустыми.
Упражнение 8.3.6. Показать, что если все элементы в Л, 6 и с являются положительными, то исходная и двойственная задачи автоматически являются
допустимыми.
Показать, что векторы х = (1, I, 1, 0) и у = (1, 1, 0, 1) для обычных двойственных задач, еслиПоказать, что векторы х = (1, I, 1, 0) и у = (1, 1, 0, 1) для обычных двойственных задач, еслиА =0 0 1 о" 0 10 0 1111 J 0 0 1.,Ь ='1111 _, с ="1"11 з;А =0 0 1 о" 0 10 0 1111 J 0 0 1.,Ь ='1111 _, с ="1"11 з;Упражнение 8.3.7. являются допустимымиУпражнение 8.3.7. являются допустимыми
Показать, что векторы х = (1, I, 1, 0) и у = (1, 1, 0, 1) для обычных двойственных задач, если
Показать, что векторы х = (1, I, 1, 0) и у = (1, 1, 0, 1) для обычных двойственных задач, если
А =
0 0 1 о" 0 10 0 1111 J 0 0 1.
,Ь =
'1
1
1
1 _
, с =
"1"
1
1 з;
А =
0 0 1 о" 0 10 0 1111 J 0 0 1.
,Ь =
'1
1
1
1 _
, с =
"1"
1
1 з;
Упражнение 8.3.7. являются допустимыми
Упражнение 8.3.7. являются допустимыми
Вычислив сх и yb, объяснить, почему они являются оптимальными.
Упражнение 8.3.8. Проверить, что векторы из предыдущего упражнения удовлетворяют условиям совместности невязок (8), и найти одно неравенство для невязок в исходной и двойственной задачах.. ■
Упражнение 8.3.9. Пусть А =Упражнение 8.3.9. Пусть А ="1 ОО 1"1 ОО 1Г-1Г-1ии" 1 ' с= ," 1 ' с= ,. Найти опти-. Найти опти-мальные х и у и проверить выполнение условий совместности невязок (а такжемальные х и у и проверить выполнение условий совместности невязок (а такжеусловия yb = cx)условия yb = cx)
Упражнение 8.3.9. Пусть А =
Упражнение 8.3.9. Пусть А =
"1 О
О 1
"1 О
О 1
Г
-1
Г
-1
и
и
" 1 ' с= ,
" 1 ' с= ,
. Найти опти-
. Найти опти-
мальные х и у и проверить выполнение условий совместности невязок (а также
мальные х и у и проверить выполнение условий совместности невязок (а также
условия yb = cx)
условия yb = cx)
Упражнение 8.3.10. Если в исходной задаче ограничения-неравенства заменить равенствами, т. е. минимизировать сх при условиях Ах = Ь и х^О, то требование р>0 в двойственной задаче снимается, максимизировать yb при уА<,с. Показать, что одностороннее неравенство yb-^cx по-прежнему остается в силе. Почему условие у^О является необходимым в (7), а здесь становится излишним?
ТЕНЕВЫЕ ЦЕНЫ
Как будет изменяться минимальная стоимость при изменении правой части b или вектора стоимости с? Этот вопрос относится к анализу устойчивости и позволяет нам выжать из симплекс- метода много дополнительной информации, содержащейся в нем. Эти вопросы, связанные с предельной стоимостью, являются наиболее важными для экономиста или руководителя компании.
Если допустить сильные изменения в векторах b и с, то оптимальное решение будет изменяться скачкообразно. При повышении цены на яйца они в определенный момент будут. исключены из диеты; говоря языком линейного программирования, переменная хе8Я скачкообразно перейдет из базисной в свободную. Чтобы проследить за этим изменением, необходимо ввести так называемое параметрическое программирование. Но если изменения являются небольшими, как обычно и бывает, то оптимальный угол будет оставаться оптимальным; базисные переменные останутся прежними. Другими словами, матрицы В и F не изменятся. Геометрически это означает, что мы слегка сдвигаем допустимое множество (изменяя вектор Ь) и наклоняем семейство плоскостей, чтобы учесть этот сдвиг (изменяя вектор с); если эти изменения невелики, то касание произойдет в том же самом углу (слегка сдвинутом). •
В конце работы симплекс-метода, когда набор базисных переменных уже известен, соответствующие т столбцов матрицы А будут образовывать матрицу В. В этом углу
минимальная стоимость = свВ~гЬ = у*Ь.
Таким образом, сдвиг на kb изменяет минимальную стоимость на y*kb. Решение у* двойственной задачи дает скорость изменения минимальной стоимости (т. е. производную) при изменении вектора Ь. Компоненты вектора у* называются теневыми ценами, и они играют определенную роль. Если потребность в витамине В, возрастает на А, а его цена у аптекаря равняется
У1 и он полностью конкурентоспособен с бакалейщиком, то стоимость диеты (аптекаря или бакалейщика) поднимается на z/^A. Если уХ равняется нулю, то витамин Вг является «бесплатным» и небольшие изменения в его потреблении не окажут никакого эффекта; диета уже содержит его более чем достаточно.
Нас интересует другой вопрос. Пусть мы требуем, чтобы диета содержала по крайней мере небольшое количество яиц, т. е. условие неотрицательности xegg^0 заменяется на xegg^6. Как это скажется на стоимости?
Если яйца уже присутствовали в оптимальной диете, то никаких изменений не произойдет; новое требование уже удовлетворено и не вызывает дополнительных расходов. Но если они не содержались в диете, то включение количества 6 обойдется в некоторую сумму. Увеличение не будет равняться полной цене cegg6, поскольку мы можем уменьшить количество остальных продуктов питания и сэкономить на этом. На самом деле увеличение стоимости зависит от уменьшенной стоимости яиц—их собственной цены без цены, которую мы платим за эквивалентное количество более дешевых продуктов. Для ее вычисления вернемся к уравнению (2): любая новая диета имеет
стоимость = (cF—свВ-1Р) xf-FcbB~4) = rxF+свВ“Ч).
Если количество яиц является первой свободной переменной, то увеличение первой компоненты вектора xF на величину 6 увеличит стоимость на г^. Поэтому уменьшенная стоимость равняется rv Аналогичным образом вектор г дает уменьшенные стоимости для всех остальных продуктов, не являющихся базисными, т. е. изменение общей стоимости при движении нижней границы для вектора х (ограничений на неотрицательность) вверх. Мы знаем, что г^О, поскольку это условие было критерием останова. Из экономических соображений следует то же самое, т. е. что уменьшенная стоимость яиц не может быть отрицательной, поскольку в противном случае они уже были бы включены в оптимальную диету.
Упражнение 8.3.11. Если исходная задача имеет единственное оптимальное решение х* и вектор с слегка изменяется, то почему прц этом х* по- прежнему будет оптимальным решением?
Упражнение 8.3.12. Если стоимость ^ бифштекса равна 3 долларам, а стоимость арахисового масла с2 равна 2 долларам и они дают соответственно две и одну единицы протеина (а требуется четыре единицы), то чему равняется теневая цена протеина и уменьшенная стоимость арахисового масла?
ТЕОРИЯ НЕРАВЕНСТВ
Двойственность можно изучать различными способами. Метод, которым мы воспользовались—доказательство неравенства yb^cx и последующее использование симплекс-метода для получения
равенства,— был удобен тем, что для него все уже было готово. Но доказательство получилось слишком длинным. Правда, оно также было и конструктивным, поскольку мы фактически нашли оптимальные векторы х* и у*. Теперь мы кратко опишем иной подход, в котором используется не техника симплекс-метода, а геометрические соображения. Я думаю, что основные идеи не станут менее ясными (а, быть может, станут яснее), если мы опустим некоторые детали.
Наилучшей иллюстрацией этого подхода является основная теорема линейной алгебры. Вспомним, что задачей второй главы было решение системы Ах = Ь, или, другими словами, отыскание вектора b в пространстве столбцов матрицы А. После метода исключения и после рассмотрения четырех основных подпространств вопрос о разрешимости системы был решен совершенно иным способом в упр. 2.5.11:
I 8Н. Либо уравнение Ах = Ь имеет решение, либо существует I такой вектор у, что yA — Q, yb=^O.
Это — альтернативная теорема, поскольку одновременно найти х и у невозможно: если Ах = Ь, то уАх = yb ^ 0, что противоречит равенству уАх = 0х = 0. В терминах подпространств это означает, что либо b находится в пространстве столбцов матрицы Л, либо он имеет ненулевую компоненту, лежащую в ортогональном подпрострацстве, которое является левым нуль-пространством матрицы А. Эта компонента и дает требуемый вектор у1).
Мы хотим найти подобную теорему для неравенств. 'Для этого целесообразно начать с той же системы Ах = Ь, но при дополнительном ограничении х^О, т. е. с ответа на вопрос, когда система Ах = Ь имеет не просто решение, а неотрицательное решение? Другими словами, нужно найти условия, при которых допустимое множество задачи с ограничениями-равенствами является непустым. .
Для ответа на этот вопрос придется обратиться к понятию достижимых векторов, т. е. векторов Ь, для которых система Ах = Ь разрешима. В главе 2 было показано, что при произвольном векторе х вектор Ах может быть любой комбинацией столбцов матрицы А; вектор b был достижимым, если он лежал в пространстве, столбцов. Теперь мы допускаем лишь неотрицательные комбинации и достижимые векторы b уже не образуют подпространство. Вместо этого они образуют конусообразную область (рис. 8.5). Для матрицы размера тхп мы будем иметь п столбцов в m-мерном пространстве, и конус превращается в некое
Э Легко видеть, что это доказательство не является конструктивным. Мы знаем только, что такая компонента должна существовать либо вектор b должен лежать в пространстве столбцов.
подобие пирамиды без основания. На рисунке изображены четыре столбца в двумерном пространстве, и матрица А будет иметь размер 2x4. Если вектор b лежит в этом конусе, то система Ах = Ь имеет неотрицательное решение; в противном случае такого решения не существует.
Рис. 8.5. Конус, образованный неотрицательными комбинациями столбцов.
Задача состоит в отыскании альтернативы: что произойдет, если вектор Ь, будет лежать вне конуса? Эта ситуация изображена на рис. 8.6 и ее геометрия очевидна. Существует «разде-
Рис. 8.6. Вектор b расположен вне конуса и по другую сторону от разделяющей, гиперплоскости Р.*
ляющая гиперплоскость», проходящая через начало координат и такая, что вектор b лежит по одну сторону, а весь конус — по другую. (Приставка гипер означает, что число измерений может быть большим; плоскость же состоит, как обычно, из всех векторов, перпендикулярных фиксированному вектору у.) Скалярное произведение векторов у и b отрицательно, поскольку угол между ними больше 90°, а скалярное произведение вектора у на любой столбец матрицы А положительно. В терминах матриц это означает, что yb < 0 и у А ^ 0, что и является искомой альтернативой:
) 81. Либо система Ах = Ь имеет неотрицательное решение, ( либо существует вектор у, такой, что у А ^ 0, yb < 0.
Это теорема о разделяющей гиперплоскости. Она является фундаментальной для математической • экономики, и доказательство ее можно найти в прекрасной книге Гейла по теории линейных экономических моделей.
Пример. Если А = 1, то соответствующим конусом является положительный квадрант. Каждый вектор b из этого квадранта является неотрицательной линейной комбинацией вектор-столбцов:
если b =если b ='23 ’'23 ’то Ь = 2то Ь = 2"Го"Го+ 3+ 30" 10" 1
если b =
если b =
'2
3 ’
'2
3 ’
то Ь = 2
то Ь = 2
"Го
"Го
+ 3
+ 3
0" 1
0" 1
Для произвольного вектора Ь, лежащего вне этого квадранта, должна выполняться вторая возможность:
еслиеслито у = [0 1], так что у А ^ 0, но yb = —3.
если
если
Эта теорема непосредственно приводит к целой последовательности подобных вариантов (см. книгу Гейла). Мы почти готовы поверить, что как только мы встречаемся с двумя взаимоисключающими предположениями, то или другое из них должно выполняться. Например, подпространство S и его ортогональное дополнение S1 не могут одновременно содержать положительные векторы: их скалярное произведение будет положительным, в то время как ортогональные векторы дают нулевое скалярное произведение. С другой стороны, совсем не факт, что S либо S-1- вообще должны содержать положительный вектор: если S есть ось х, a Sx— ось у, то они содержат лишь «полуположительные» векторы [1 0] и [0 1]. Интересно, что несколько более слабая альтернатива работает: либо S содержит положительный вектор х, либо S-1- содержит полуположительный вектор у. Если S и S1- представляют собой перпендикулярные прямые на плоскости, то
легко видеть, что одна или другая должна проходить через первый квадрант, но мне трудно представить, что будет в случае большего числа измерений. -
Для линейного программирования наиболее важной является альтернатива для ограничений в виде неравенств:
8J. Либо система Ах^Ь имеет неотрицательное решение, либо существует такой вектор у, что уА^О, yb < О, у ^ 0.
Это следует из 81, если мы введем переменные невязки ш = Ах—Ь, чтобы преобразовать неравенство в равенство:
[Д — /] Гх ]=Ь.
w
Если не существует неотрицательного решения, то, согласно 81, существует такой вектор у, что-
у^А -/]>[0 0],- yb <0.
Г1 1Г1 1Упражнение 8.3.13. Для матрицы А =Упражнение 8.3.13. Для матрицы А =Это и дает вторую возможность в 8J, откуда получается «неконструктивное доказательство» теоремы двойственности. Но мы обещали придерживаться геометрических рассмотрений, опуская алгебраические, и сдерживаем это обещание.
Г1 1
Г1 1
Упражнение 8.3.13. Для матрицы А =
Упражнение 8.3.13. Для матрицы А =
У j описать конус, образованный ее столбцами. Для вектора Ь, лежащего внутри этого конуса, скажем 6 = (3, 2)Т, найти единственный допустимый вектор х. Если b лежит вне конуса, скажем 6 = (О, 1)Т, то какой вектор у будет удовлетворять второй возможности?
Упражнение 8.3.14. Если задано трехмерное пространство, то можно ли найти шесть векторов, неотрицательные комбинации которых образуют конус, совпадающий со всем пространством?
Упражнение 8.3.15. Используя 8Н показать, что (в силу справедливости альтернативы) задача
Г2 27Г 1 7
| 4 4jL 1 J'
не имеет решения..
Упражнение 8.3.16. Используя альтернативы) задачаУпражнение 8.3.16. Используя альтернативы) задача81 показать, что (в силу справедливости81 показать, что (в силу справедливости1 31 —41 31 —4—57—7 .—57—7 ."2 '3"2 '3
Упражнение 8.3.16. Используя альтернативы) задача
Упражнение 8.3.16. Используя альтернативы) задача
81 показать, что (в силу справедливости
81 показать, что (в силу справедливости
1 3
1 —4
1 3
1 —4
—57
—7 .
—57
—7 .
"2 '
3
"2 '
3
■ не имеет неотрицательного решения.
Упражнение 8.3.17. Показать, что две возможности 8J не могут выполняться одновременно. ■
СЕТЕВЫЕ МОДЕЛИ
Некоторые линейные программы имеют такую структуру, что их решение получается легко. Мы встречались уже с такой возможностью при решении линейных уравнений Ах = Ь в гл. 1, где для ленточных матриц, ненулевые элементы которых концентрируются вокруг главной диагонали, затраты на реализацию метода исключений уменьшались до порядка п вместо п®. В линейном же программировании мы будем выделять специальный класс задач, известных под названием сетевых. Здесь также матрица А будет содержать большое число нулей, а ненулевые ее элементы обычно равняются +1 или —1. (Но диагональ ничем не выделяется, поскольку матрицы являются прямоугольными.) Для этих задач шаги метода исключения требуют лишь простых операций сложения и умножения, и здесь могут решаться значительно большие задачи, чем обычно. Следует отметить, однако, что число шагов в методе по-прежнему может экспоненциально возрастать в наихудшем случае (см. статью в журнале Scientific American. за январь 1978 г.1)), но, как и в общем симплекс-методе, это очень редко становится реальной опасностью.
Разумеется, высокая скорость решения интересует нас только тогда, когда сами задачи являются важными. Сетевые задачи имеют приложения ко всем отраслям индустриального и экономического планирования, например ■ к распределению потоков товаров, людей, газа, нефти или воды. В качестве примера можно взять задачу о перегрузке товаров: готовая продукция должна распределяться по складам, а оттуда попадать к -потребителям, и все это должно осуществляться с минимальными расходами. Источники, склады и потребители представляют собой узлы сети, а пути между ними называются дугами. .
Одна модель такого сорта показана на рис. 8.7, где на каждой дуге указана ее максимальная пропускная способность. Задача состоит в получении максимально возможного потока: от источника (узел 1) к стоку (узел 6). Направления потоков, указанные стрелками, не могут быть изменены; расходы на перевозку также не учитываются. Это частный случай сетевой задачи, называемый задачей о максимальном потоке.
Неизвестными величинами являются потоки х^ из одного узла i в другой узел j. Мы пользуемся двухиндексным обозначением для удобства, несмотря на то что х является вектором. В рассмотрении участвуют только пары вида х12, х24, .. ., х6в, соответствующие дугам, изображенным на рисунке. Если верхние
; В Н. R. Lewis, С. Н. Papadimitriou, The efficiency of algorithms, 302 (1978), 96—109.-
пределы (пропускные способности) этих дуг равняются utj, то ограничения на отдельные потоки имеют вид
Рис. 8.7. Система с ограниченной пропускной способностью.
В дополнение к этому существует также ограничение на каждый промежуточный узел, состоящее в равенстве входящего и выходящего потоков. Это справедливо также для источника и стока, если мы введем в рассмотрение фиктивную трубу с бесконечно большой пропускной способностью (на рисунке она обозначена пунктиром) и будем возвращать все назад от стока к источнику. Суммарный поток, поступающий в узел с номером /, равен 2 х// по всем I, а суммарный поток из /-го узла равен 2х/а по всем k. Поэтому ограничение по равновесию имеет вид
Sx,v—2хд=0, /=1,2,
Матрица коэффициентов для этого уравнения имеет специальную структуру и называется матрицей инцидентности. Каждому из шести узлов соответствует строка, и каждой из девяти дуг соответствует столбец матрицы; числа +1 и —1 полностью опи-
г) Верхняя и нижняя границы на каждую из компонент вектора х называются «.яицияными» ограничениями, что вызвано формой допустимого множества; они очень просты и хорошо исследованы.
сывают связи между узлами и дугами:
1—Г •
11
—111
—1—11
—1—11
-1 -1 1_
Х13Х24 ХИ ХЭ4 Х35 Х4в х56х61
В задаче о максимальном потоке мы стремимся сделать величину х61 как можно большей, так что эта задача представляет собой обычную линейную программу (упр. 8.4.3) и можно пользоваться симплекс-методом. Но мы хотим воспользоваться укороченным вариантом. Читатель может определить максимальный поток, не прибегая к помощи ЭВМ, так что мы сразу перейдем к рассмотрению условия, показывающего, что поток действительно является максимальным и не может быть увеличен. Прежде всего, введем понятия разреза сети, означающего разделение всех узлов на две группы S и S' с источником в группе S и стоком в S'. Пропускной способностью разреза назовем сумму пропускных способностей по всем дугам, идущим из S в S'.
Например, если S содержит первый и третий узлы, то пропускная способность этого разреза равна 4 + 3 4-4=11. Поток, больший чем 11, невозможен, поскольку он не сможет пройти через разрез.
8К- Теорема о максимальном потоке и минимальном разрезе. Максимальный поток в сети равняется пропускной способности минимального разреза.
Доказательство. Неравенство в одну сторону очевидно: для произвольного потока и произвольного разреза поток не превосходит пропускной способности разреза. Никакой поток не в состоянии сделать больше, чем просто насытить все дуги, пересекающие разрез, и их общая пропускная способность является верхней гранью для потока. Эта ситуация аналогична «слабой двойственности», т. е. простому неравенству yb ^ сх, которое выполняется для любых допустимых векторов х и у. Более трудная задача, как здесь, так и в теореме двойственности, состоит в доказательстве достижимости равенства.
Пусть некоторый поток является максимальным. Рассмотрим все дуги, которые не достигли предела пропускной способности, и пусть S содержит источник, а также все узлы, которых можно
от него достичь по этим дугам. Остальные узлы образуют группу S'. Тогда сток будет находиться в S', поскольку в противном случае поток не был бы максимальным. Более того, каждая дуга, соединяющая S с S', является заполненной, в противном случае узел, в который она входит, принадлежал бы группе S, а не S'. Следовательно, поток действительно наполняет разрез и равенство достигается.
Это дает нам возможность проверять, что заданный поток является максимальным; нужно лишь найти соответствующий разрез. В нашем примере максимальный поток равен 6, и соответствующий разрез изображен на рис. 8.8.
Рис. 8.8. Максимальный поток и минимальный разрез.Рис. 8.8. Максимальный поток и минимальный разрез.
Рис. 8.8. Максимальный поток и минимальный разрез.
Рис. 8.8. Максимальный поток и минимальный разрез.
Эта теорема дает также и алгоритм решения: для любого потока нужно вычислять неиспользованную пропускную способность каждой дуги, и если сток может быть достигнут по какому-то недозаполненному пути, то нужно увеличить поток по нему до максимально возможного и вычислить результат. (Заметим, что если происходит пересылка из узла А в узел В, то почти все может вернуться назад, не обращая при этом суммарный поток. Другими словами, в узел А можно попасть из В.) Постепенно должен быть достигнут максимальный поток, и в случае целочисленных пропускных способностей целочисленным будет и поток, т. е. эта задача относится к целочисленному программированию.
Упражнение 8.4.1. Если мы можем увеличить пропускную способность одной из труб в сети, то какую именно нужно избрать, чтобы получить наибольшее увеличение максимального потока?
Упражнение 8.4.2. Найти максимальный поток и минимальный разрез для сети, изображенной на стр 392.
Упражнение 8.4.8. В задаче о максимальном потоке, вводя переменные невязки wij = Uij — хц, максимизировать х6] при условиях■
"Л О
1 1
X
Ш
- О "и
W
Двойственная к этой задача содержит шесть неизвестных yi и девять неиз1
вестных цр минимизировать [у г]
О 1 =ги
при [у г] ГД
01 ^[0 ... 1 0].
//1
/
/
Показать, что выбор г,у = 1 для дуг, пересекающих минимальный разрез, и 2у = 0 для остальных с у; = 0 для узлов из S и у;=1 для узлов из S' является одновременно допустимым и оптимальным.
ЗАДАЧА О ПРОСТОМ НАЗНАЧЕНИИ
Предположим, что у нас имеется т людей и п работ. Каждый из людей может выполнять лишь определенные работы. Можно ли назначить всех на работу по специальности, не давая при этом одну и ту же работу разным людям?
Нетрудно найти необходимые условия, при которых такое назначение будет возможно. Во-первых, каждый из людей должен иметь по крайней мере одну специальность. Во-вторых, каждая пара людей должна иметь две различные специальности. И каждая группа из трех (или й) людей должна быть в состоянии выполнять по меньшей мере три (или &) различные работы. В противном случае цель, очевидно, не может быть достигнута. Задача состоит в том, чтобы показать, что если каждая группа удовлетворяет перечисленным выше необходимым условиям, то распределение возможно.
8L. Назначение возможно тогда и только тогда, когда каждая группа в состоянии выполнять достаточное число работ; если группа состоит из к людей, то вместе они должны быть в состоянии выполнять по меньшей мере к работ.
На первый взгляд это условие выглядит чересчур слабым, поскольку один очень квалифицированный человек в состоянии помочь всей группе выполнить его. Но ведь это условие относится к каждой группе, включая и те, в которых этот человек не состоит. Если распределение работы невозможно, то всегда можно найти группу, для которой это условие не выполняется.
Доказательство начинается с конструирования сети, имеющей пропускную способность т между каждым человеком и работами, которые он может выполнять. Затем люди подключаются к источнику, а работы к стоку при помощи дуг с пропускной способностью 1 (рис. 8.9). Если в результате суммарный поток будет
равен т, то все дуги от источника будут заполнены и все будут иметь работу.
Предположим, что максимальный поток оказался меньшим, чем т. Тогда должен существовать разрез с пропускной способностью, меньшей т, например, такой, что в группе S содержатся источник и узлы /,, ..., Ife, J1( ..., J v Ни один из этих к людей не в состоянии выполнять другие работы, поскольку в противном случае нашлась бы дуга с пропускной способностью т, пересекающая разрез. Следовательно, пропускная способность разреза равняется т—к (от источника к оставшимся людям) плюс / (от этих работ к стоку), что дает в сумме т—к-\-1; эта величина будет меньше т при I <к. Следовательно, мы нашли группу из к людей, которая может выполнять лишь / < к работ. Если назначение оказывается невозможным—поток оказался меньше, чем /и,— то это означает, что какая-то группа людей сдерживает его.
Упражнение 8.4.4. Предположим, что каждый человек может выполнять по две работы и не существует трех людей с одной и той же специальностью. Доказать, что в этом случае назначение возможно.
Упражнение 8.4.5. Предположим, что имеется бесконечно много людей и работ. Первый человек может выполнить любую работу, а для последующих 0'4-1)-й человек имеет только г-ю специальность. Показать, что каждая группа из Л'людей может выполнять по меньшей мере к работ, но распределить всех на работу невозможно.
Задача о простом назначении называется также задачей о бракосочетании. Каждая девушка выбирает только определенных юношей. Чтобы каждая девушка вышла замуж, каждая группа из к девушек (&= 1, 2, ...) должна любить по меньшей мере к юношей — и этого достаточно. Я не знаю, что произойдет, если юноши также захотят выбирать. По крайней мере будет более реалистично, если девушки будут иметь шкалу предпочтений вместо простого «да» или «нет» и если у нанимаемых на работу людей также будут градации, когда i-й человек имеет коэффициент а^ для /-й работы, причем аг/ = 0 в случае полного отсутствия соответствующей квалификации. Это приводит к задаче об оптимальном назначении-, максимизировать сумму коэффициентов пригодности при данных работах. Эта задача также является линейной программой: максимизировать 22а/7х//> когда на одной работе занят один человек и имеется по одной работе на человека.
Другой известный пример дает задача о коммивояжере. Начиная от своего дома, он должен посетить п — 1 городов и вернуться домой. Если расстояние (или стоимость проезда) от одного города I до другого города / равняется а^., то коммивояжер должен минимизировать SS°z7xi7 ПРИ условиях, что он должен посетить каждый город по одному разу:
Sx,v=l, 2^/=1> х,7>0.i /
Такая постановка не вполне корректна, поскольку решение задачи может представлять собой отдельные группы и быть замкнутым внутри них, так что, выехав из дома, коммивояжер никогда не попадает во все требуемые города. Поэтому необходимо ввести дополнительные ограничения, и их оказывается так много, что эта на первый взгляд простая задача становится на самом деле исключительно трудной.
Соответствующая сетевая задача состоит в отыскании кратчайшего пути от источника к стоку. На каждой дуге задается время перехода ti;- и рассматривается двойственная задача: каждому узлу соответствует минимальное время уИ и мы максимизируем у для стока при условиях
у,—yi^^ij и У = 0 У источника.
Эта задача может быть решена методами динамического программирования. Начиная от источника, мы находим минимальное время, требуемое для достижения соседнего узла, и постепенно движемся вперед; сделать это легко, если циклы в сети запрещены. Существенным принципом в динамическом программировании является принцип рекурсивной оптимизации: оптимальный путь от источника к стоку одновременно является
оптимальным путем от источника к любому узлу на этом пути и от этого узла к стоку. Каково бы ни было текущее состояние, оставшиеся решения должны быть оптимальными. В результате задача разбивается на простые части.
Отметим также задачу о перевозках, т. е. о сетевом потоке от производителей к рынкам без промежуточных точек. Производство г дает продукцию в количестве s;, а потребность на рынке / равняется dy, перевозка одной единицы продукции между ними стоит с^. Следовательно, посылаемые количества xt) должны удовлетворять неравенствам
2 хц '2ixij>d/, х^О. j i
Для оптимальности перевозок мы будем минимизировать величину ^с^^.
Упражнение 8.4.6. Если числа в упр. 8.4.2 представляют собой время на перевозки, то как будет выглядеть кратчайший путь от источника к стоку? Найти минимальные значения времени у; для всех других узлов (частный случай динамического программирования) и объяснить, почему на каждой дуге выполняется неравенство yj — yt<tij.
Упражнение 8.4.7. Решить задачу о перевозках, когда имеются два производства с объемами s/ = 6, три рынка с потребностями d/ = 4 и стоимости перевозок ац образуют матрицу
„ Г1 з 61А =.
,2 4 8j
Упражнение 8.4.8. Какие условия на производство и потребление являются допустимыми условиями задачи о перевозках?
ТЕОРИЯ ИГР И ТЕОРЕМА О МИНИМАКСЕ
Матричную игру лучше всего объяснить на примере.
Пример 1. В игре участвуют двое и правила остаются неизменными:
Игрок X поднимает вверх одну или обе руки, и независимо от него то же самое делает и игрок У. Если их решения совпали, то У получает 10 долларов. Если они приняли разные решения, то выигрывает X, причем он получает 10 долларов, если он поднял вверх одну руку, и 20 долларов, если обе. Суммарный выигрыш игрока X легко можно записать в виде матрицы
"—1020" одна рука у У
— _ 10 —10 обе руки у У одна обе рука руки
13*У X у X
Если немного подумать, то примерная стратегия станет очевидной. Ясно, что игрок X не будет играть одинаково все время, иначе К будет копировать его и выиграет все. Аналогично игрок Y не может придерживаться одной стратегии, иначе X будет поступать наоборот. Оба игрока должны использовать смешанную стратегию, и, более того, выбор в каждой партии должен быть абсолютно независимым от предыдущих партий. В противном случае, если другой игрок заметит некоторую систему, он получит преимущество. Даже стратегия типа «придерживаться одного и того же выбора до тех пор, пока идет выигрыш, и менять стратегию после первого проигрыша» является, очевидно, бесполезной. После достаточного числа партий партнер будет знать точно, что вы будете делать. Таким образом, игроки оказываются в следующей ситуации: игрок X решает, что он будет поднимать одну руку с частотой xv (тогда он поднимает обе руки с частотой х2=1—xv и в каждой партии это решение является случайным), a Y выбирает свои вероятности yt и у2=1—у^ Как мы видели, ни одна из этих вероятностей не должна равняться О или 1; в противном случае соперник подстроится и начнет выигрывать. В то же время сомнительно, что все вероятности должны быть равны 1/2, поскольку игрок Y будет проигрывать по 20 долларов слишком часто. (Он будет терять 20 долларов в 1/4 всех партий, 10 долларов еще в 1/4 и выигрывать 10 долларов в половине партий, т. е. в среднем на одной партии будет терять 2,5 доллара.) Но чем сильнее игрок Y будет тяготеть к стратегии «двух рук», тем настойчивее игрок X будет придерживаться стратегии «одной руки». .
Вся задача состоит в отыскании равновесия. Существует ли такая смешанная стратегия у^ и у2, что, будучи надлежащим образом использованной игроком Y, она лишит X всяких преимуществ? Аналогичным образом может ли игрок X выбрать такие вероятности х^ и х2, что для Y не будет смысла избирать свою стратегию? В такой точке равновесия, если она вообще существует, средний выигрыш игрока X достигает седловой точки: он является максимальным для X и минимальным для Y. Отыскать такую точку—значит «решить» игру.
20] Г 220] Г 2'—10'10'—10'10_3 5_3 52525— 10J [2— 10J [2Точку зрения игрока X можно изложить следующим образом: он формирует новый столбец из соответствующих столбцов матрицы, взятых с весами хх и 1—xv Пусть, например, он выбрал веса 3/5 и 2/5. Тогда столбец будет иметь вид
20] Г 2
20] Г 2
'—10'
10
'—10'
10
_3 5
_3 5
25
25
— 10J [2
— 10J [2
При таком выборе игрок Y будет терять 2 доллара независимо от своей стратегии. Плата по-прежнему равняется 10 и 20 долларам. Но если игрок Y будет упорно подни-
мать одну руку, то он будет выигрывать по 10 долларов в течение 3/5 всего времени и проигрывать по 20 долларов в течение 2/5 всего времени, что дает средний проигрыш в размере 2 долларов на партию. Если Y будет поднимать обе руки или выберет смешанную стратегию в любой пропорции, он все равно будет терять по 2 доллара.
Но это не означает, что для игрока Y все стратегии являются оптимальными! Если он ленив и будет продолжать поднимать одну руку, то X изменит стратегию и начнет выигрывать по 20 долларов. Тогда Y изменит стратегию, и то же самое сделает X. В конце концов, если оба игрока являются достаточно опытными, то как Y, так и X придут к оптимальной смешанной стратегии. Это означает, что игрок Y будет комбинировать строки матрицы с весами у, и 1—у,, пытаясь получить новую строку, которая была бы как можно меньшей: .
УхЕ-Ю 20]+ (1 —У1) [10 -10] = [10-20у1 -Ю + ЗОу^.
В данном случае наилучшая стратегия состоит в том, чтобы сделать обе компоненты равными: 10 — 20ух =— Ю + ЗОу,, откуда yt = 2/5. При таком выборе обе компоненты равняются 2 и новая строка имеет вид [2 2]. Поэтому при такой стратегии игрок Y не может терять больше, чем 2 доллара. Игрок Y минимизи ровал свой максимальный проигрыш, и этот минимакс (2 доллара) совпадает с максимином, найденным независимо от него игроком X. Цена игры и равняется этому минимаксу или максимину, т. е. 2 долларам.
Эта седловая точка замечательна тем, что в ней игрок X пользуется своей второй стратегией лишь на протяжении 2/5 всего времени, хотя она дает ему возможность выигрывать 20 долларов. В то же время игрок Y вынужден принять проигрышную стратегию—он должен был бы повторять действия игрока X, но вместо этого он играет с противоположными вероятностями 2/5 и 3/5. Можно проверить, что X выигрывает 10 долларов с частотой 3/5-3/5 = 9/25, 20 долларов с частотой 2/5-2/5 = 4/25 и проигрывает 10 долларов с оставшейся частотой 12/25. Как и следовало ожидать, это дает ему средний выигрыш в размере 2 долларов.
Укажем на одну ошибку, которую легко можно сделать. Оптимальная комбинация строк не всегда дает строку с равными компонентами. Пусть, например, игрок X может, кроме того, поднимать вверх три руки и выигрывать при этом 60 долларов, если Y поднимает одну руку, и 80 долларов, если Y поднимает две руки. Платежная матрица при этом будет иметь вид
Г—10 20 601
А =
10 -10 80 '
Игрок X все время выбирает эту новую стратегию, т. е. веса при столбцах фиксированы и равны хт = 0, х2 = 0, х3=1, и его минимальный выигрыш при этом составляет 60 долларов. Игрок Y подбирает такую комбинацию строк, которая дает строку с минимальными компонентами, т. е. выбирает первую строку и его максимальные потери равны 60 долларам. Поэтому мы также получим равенство минимакса и максимина, но седловая точка при этом будет сдвинута в угол.
Правило состоит в том, что при оптимальной комбинации строк для игрока Y цена игры оказывается (как было для двух и для шестидесяти долларов) расположенной только в столбцах, которые фактически используются игроком X. Аналогичным образом при оптимальной комбинации столбцов для игрока X то же самое значение находится в тех строках, которые включаются в наилучшую стратегию игрока У,—другие строки дают более высокое значение и Y избегает их. Это правило в точности соответствует условию совместности невязок в линейном программировании.
1 2"3 41 2"3 4Упражнение 8.5.1. Как изменятся оптимальные стратегии, если ставка будет увеличена с 20 до 70 долларов, и чему равняется новая цена игры (средний выигрыш игрока Д’)?
1 2"
3 4
1 2"
3 4
. Объяс. ОбъясУпражнение 8.5.2. Пусть платежная матрица имеет вид Л =
. Объяс
. Объяс
нить, как игрок X подсчитывает свой максимин и как У подсчитывает свой минимакс. Каковы оптимальные стратегии х* и у*?
Упражнение 8.5.3. Пусть некоторый ац является наибольшим элементом в строке и наименьшим в столбце. Объяснить, почему игрок X всегда выбирает столбец /', а игрок У всегда выбирает строку i (независимо от того, каковы остальные элементы матрицы)? Показать, что в предыдущем упражнении матрица содержит такой элемент, и построить матрицу, не содержащую его.
Упражнение 8.5.4. Найти наилучшую стратегию для игрока К, если
Л =Л =3 4 Г2 0 33 4 Г2 0 3
Л =
Л =
3 4 Г
2 0 3
3 4 Г
2 0 3
путем комбинирования строк с весами у и 1—у и нарисовать все три компоненты.
3/+2(1-у)3/+2(1-у)У*У*
3/+2(1-у)
3/+2(1-у)
У*
У*
Игрок X будет придерживаться наибольшей компоненты (жирная линия), a Y должен минимизировать этот максимум. Чему равен у* и какова высота этого минимакса (пунктирная линия)?
Упражнение 8.5.5. При той же самой матрице А найти наилучшую стратегию для игрока X и показать, что он использует только два столбца (первый и третий) и соответствующие прямые пересекаются в точке минимакса.
Упражнение 8.5.6. Найти обе оптимальные стратегии и цену игры, если
‘ 1 О -Г
-2 -12
Упражнение 8.5.7. Пусть А =Упражнение 8.5.7. Пусть А =и бец видаи бец видаVu_[v п]? Показать, что и = и.Vu_[v п]? Показать, что и = и.аасс61. Какие веса X] и 1—Xi дадут стол-61. Какие веса X] и 1—Xi дадут стол-и какие веса у! и 1—z/j для двух строк дадут новую строкуи какие веса у! и 1—z/j для двух строк дадут новую строку
Упражнение 8.5.7. Пусть А =
Упражнение 8.5.7. Пусть А =
и бец вида
и бец вида
Vu_
[v п]? Показать, что и = и.
Vu_
[v п]? Показать, что и = и.
а
а
с
с
61
. Какие веса X] и 1—Xi дадут стол-
61
. Какие веса X] и 1—Xi дадут стол-
и какие веса у! и 1—z/j для двух строк дадут новую строку
и какие веса у! и 1—z/j для двух строк дадут новую строку
ТЕОРЕМА О МИНИМАКСЕ
Наиболее общая матричная игра выглядит в точности так же, как и наш простой пример, за исключением одного важного пункта: игрок X имеет выбор из и возможностей, a Y — из т. Поэтому матрица платежа А, остающаяся неизменной в каждой партии, может иметь т строк и п столбцов. Каждый ее элемент аи представляет собой выигрыш игрока X при выборе им /-й стратегии, в то время как игрок Y избрал i-ю стратегию. Отрицательный элемент просто означает отрицательную плату, т. е. выигрыш для Y. Результат все равно остается игрой двух лиц, имеющей нулевую сумму: проигрыш одного игрока означает выигрыш другого. Но теперь существование равновесной седловой точки далеко не очевидно.
Как и в приведенном примере, игрок X может выбрать любую смешанную стратегию х = ^хг, ..., х^. Эта стратегия всегда является вектором вероятности: величины xt неотрицательны и их сумма равна 1. Эти компоненты дают частоты для п различных чистых стратегий, и в каждой партии игрок X выбирает их при помощи некоторого рандомизатора—устройства, генерирующего i-ю "стратегию с частотой xt. Одновременно с этим игрок Y должен принять аналогичное решение: он выбирает вектор-строку y=(ylt ..., ут\ удовлетворяющий условиям у^О и ^yi = Y который дает частоты его собственной смешанной стратегии.
Предсказать результат одной партии невозможно, поскольку он является случайным. В среднем, однако, комбинация /-й стратегии для игрока X с i-й стратегией для Y будет иметь вероятность х;У;, равную произведению двух отдельных вероятностей. Если она реализуется, то выигрыш будет равен а,у. Следовательно,
ожидаемый от этой комбинации выигрыш для игрока X равен а{;х;у< и ожидаемый общий выигрыш партии равен ^^а^х^у^ Подчеркнем еще раз, что любой (в том числе и все) элемент а^ может быть отрицательным, правила одинаковы для обоих игроков и выигрыш зависит от элементов ац.
Ожидаемый выигрыш имеет очень простую матричную запись, поскольку двойная сумма SSaijXji)i равна уАх в силу правила умножения матриц:
уАх = ^уг ... Ут] Г«И «12уАх = ^уг ... Ут] Г«И «12,1ГХ1 л = а^х^ + ... +атпхпут.
уАх = ^уг ... Ут] Г«И «12
уАх = ^уг ... Ут] Г«И «12
и^/Л1 #JW8
Именно эту величину у Ах игрок X пытается максимизировать, а игрок У —минимизировать.
Пример 2. Пусть А есть единичная матрица порядка п, А = 1. Тогда ожидаемый выигрыш равен xly = xlyl + ... -\-хпуп и идею игры легко объяснить: игрок X пытается сделать тот же выбор, что и У, поскольку в этом случае он получает аи = 1 доллар. В то же самое время игрок У пытается сделать другой выбор, чтобы не дать игроку X выиграть и не платить: вне диагонали единичной матрицы стоят нули, и если X выбирает i-й столбец, то У выбирает другую строку /. Если игрок X выбирает одну из стратегий чаще, чем любую другую, то У чаще может уйти от поражения. Поэтому оптимальной стратегией будет х*=^\/п, 1/п1/п).Аналогично игрок У не может делать упор на
какую-либо определенную стратегию, иначе X получит преимущество, и поэтому его оптимальный выбор также состоит в выборе равных вероятностей, сумма которых равняется 1, у* —(1/п, 1/п, ... ..., 1/п). Вероятность того, что оба игрока изберут i-ю стратегию, равна (1/п)2, и сумма по всем таким комбинациям дает ожидаемый выигрыш для X. Общая цена игры есть пх(1/п)2, или 1/п, что подтверждается вычислением:
у*Ах* = у1/п ... 1/п]П~1Г1/гг~1 =
Когда число п возрастает, игрок Y получает больший шанс на «спасение».
Заметим, что симметричность матрицы не гарантирует справедливости игры для обоих игроков. На самом деле верно прямо противоположное: игра будет совершенно справедливой, когда матрица является кососимметрической, т. е. Лт = — Л. При такой матрице оба игрока находятся в равных условиях, поскольку выбор игроком X ]-н стратегии при выборе i-й стратегии игроком Y дает выигрыш в размере а^ игроку X, а выбор стратегии / игроком Y и стратегии i игроком X дает тот же выигрыш а^ игроку Y (поскольку а/; =— а^\ Оптимальные стратегии .г* и у* должны совпадать, и ожидаемый выигрыш должен равняться у»Ах* = 0. Цена игры при Лт = — Л равняется нулю.
Пример 3.
Л =Л =1О1ОL— 1 —1L— 1 —1г10.г10.
Л =
Л =
1
О
1
О
L— 1 —1
L— 1 —1
г
1
0.
г
1
0.
Игра состоит в том, что оба игрока X и Y выбирают число между 1 и 3, и тот, кто выбрал меньшее, выигрывает 1 доллар. (Если игрок X выбрал число 2 и К выбрал 3, то выигрыш равен й23 = 1 доллару. Если же они выбирают одно и то же число, то мы будем находиться на главной диагонали матрицы и ни один из игроков не выигрывает.) Очевидно, что ни один из игроков не выберет число 2 или 3, поскольку другой игрок может выбрать меньшее. Следовательно, чистые стратегии х* = у* = (1, 0, 0) являются оптимальными—оба игрока каждый раз выбирают единицу—и цена игры равна у*Ах* = atl = 0.
Следует отметить, что матрица, оставляющая все решения неизменными, является не единичной матрицей, а матрицей Е, у которой каждый элемент е^ равен единице. Добавление кратного матрицы Е к платежной матрице, А—>А4-аЕ, просто означает, что игрок X будет выигрывать дополнительную сумму а в каждой партии. Цена игры увеличивается на а, но х* и у* остаются прежними.
Теперь мы возвращаемся к общей теории, приняв для начала точку зрения игрока X. Пусть он выбирает смешанную стратегию х=^х^ ..., х„). Тогда игрок Y постепенно поймет эту стратегию и выберет свою стратегию таким образом, чтобы минимизировать потери у Ах. В результате игрок X получит min у Ах. у .
Опытный игрок X выберет такой вектор х* (быть может, не единственный), который максимизирует этот минимум. Сделав этот
выбор, игрок X может быть уверен в том, что его выигрыш окажется не меньше, чем
min у Ах = max min у Ах.(14)
Ух у
На большее он рассчитывать не может.
Игрок Y поступает противоположным образом. При любой из своих собственных стратегий у он должен ожидать, что игрок X найдет вектор, максимизирующий уАх1^. Поэтому Y должен выбрать смешанную стратегию у*, минимизирующую этот максимум и гарантирующую, что он потеряет не больше, чем
max у*Ах = min max у Ах.(15)
Xух
Ничего лучшего игроку Y не придумать.
Надеюсь вы уже догадались, каков будет результат, если все это вообще верно. Мы хотим, чтобы величина (14) гарантированного выигрыша игрока X совпадала с величиной потерь (15) игрока Y. Тогда смешанные стратегии л* и у* дадут равновесную седловую точку и игра будет решена: при любых стратегиях, не совпадающих с х* и у*, оба игрока будут лишь ухудшать свое положение. Существование этой седловой точки было доказано фон Нейманом и носит название теоремы о минимаксе:
8N. Для произвольной матрицы А размера туп минимаксно всем смешанным стратегиям совпадает с максимином:
max min уАх = min max yAx.(16)
х уух
Эта величина является ценой игры. Если максимум в левой части достигается в точке х*, а минимум в правой части — в точке у*, то эти стратегии являются оптимальными и они дают седловую точку, покидать которую не имеет смысла:
у* Ах ^ у* Ах* ^ у Ах* для всех х и у. (17)
В седловой точке вектор х* во всяком случае «не хуже» любого другого вектора х (поскольку у* Ах ^ у* Ax*Y Аналогично второй игрок будет лишь проигрывать больше, если он отойдет от стратегии у*.
Так же как и в теории двойственности, мы можем начать с одностороннего неравенства max min ^ min max. Это просто
комбинация определений (14) для х* и (15) для у*:
max min уАх = min у Ах* Д у* Ах* ^ max у*Ах = min max у Ах. (18) х УУXух
Это означает, что если игрок X с гарантией выигрывает не меньше, чем а, а У с гарантией теряет не больше, чем р, то обязательно а^р. Заслугой фон Неймана было то, что он доказал равенство а = р. Это и есть теорема о минимаксе. Она означает, что в (18) везде должны стоять равенства, а свойство седловой точки (17) выводится из этого в упр. 8.4.6.
Самое замечательное здесь то, что при доказательстве используется в точности такая же техника, как и в теории линейного программирования. Интуитивно это почти очевидно: игроки X и Y играют «двойственные» роли и оба выбирают стратегии из «допустимого множества» векторов вероятности Х/^О, ^x^l, у;^0, Sy^l- Удивительно, что даже фон Нейман не сразу заметил, что обе теории совпадают. Он доказал теорему о минимаксе в 1928 году, линейное программирование появилось около 1947 года, а первое доказательство теоремы двойственности было дано Гейлом, Куном и Такером в 1951 году—и оно опиралось на работы фон Неймана! Их доказательство было опубликовано в той же книге, в которой Данциг показал эквивалентность линейных программ и матричных игр, так что на самом деле мы обращаем реальную историческую последовательность событий, выводя теорему о минимаксе из двойственности:
В общих чертах теорему о минимаксе можно доказать следующим образом. Пусть Ь = (1, ..., 1)т—вектор-столбец длины т и с —(1, . .., 1) —вектор-строка длины п. Рассмотрим двойственные линейные программы
(Р) минимизировать ex(D) максимизировать yb
при условиях Ах^Ь,при условиях уА^.с,
х^Оу^О.
Для применения двойственности мы должны быть уверены, что обе задачи являются допустимыми, так что при необходимости мы добавляем ко всем элементам матрицы А одно и то же большое число а. Это не может изменить оптимальные стратегии в игре, поскольку каждая выплата увеличивается на а и то же самое происходит с величинами min max и max min. Для измененной матрицы, которую мы по-прежнему обозначаем через А, вектор у = 0 является допустимым вектором двойственной задачи и любой достаточно большой вектор х будет допустимым для исходной задачи.
Теперь из теоремы двойственности для линейного программирования следует, что существуют векторы х* и у*, удовлетворяющие равенству сх* = у*Ь. Поскольку b и с состоят из единиц,
получаем '2lx*i = '2ly*i. Если эти суммы равняются 9, то деление на .6 делает эти суммы равными 1, и в результате смешанные стратегии x*/Q и у*/9 являются оптимальными в теории игр. Для любых других смешанных стратегий х и у
Ах* ^ b влечет за собой у Ах* ^ yb= 1 и
у* А ^ с влечет за собой у* Ах ^ сх = 1.
Отметим, что у* Ах 5^ 1 ^ у Ах*. Это означает, если мы разделим неравенство на 0, что игрок X не может выиграть больше, чем 1/9, против стратегии у*/9 и что игрок У не может проиграть меньше, чем 1/9, против стратегии х*/9. Следовательно, именно эти стратегии и нужно выбрать, так что min max = max min = 1/9.
Это завершает теорию. Но мы не дали ответа на самый естественный вопрос: какие игры в обычном смысле слова эквивалентны нашим «матричным играм»? Например, подпадают ли под теорию фон Неймана шахматы, бридж, покер?
На мой взгляд, игра в шахматы не подходит по двум причинам. Во-первых, стратегия белых фигур состоит не просто из движения вперед. Она должна включать решение вопроса о том, как ответить на первый ход черных фигур, а затем — как ответить на их второй ход и т. д. до конца игры. На каждом шаге количество возможностей таково, что игрок X имеет миллиарды чистых стратегий и то же самое справедливо для его противника. Поэтому числа тип являются недопустимо большими. Более того, случай здесь практически не играет роли. Если белые смогут найти выигрышную стратегию или если черные смогут найти стратегию защиты—что до сих пор не было сделано,—то игре в шахматы придет конец. Разумеется, в нее будут продолжать играть, как в крестики-нолики, но интерес сильно поубавится.
В отличие от шахмат, в бридже содержится некоторый элемент хитрости, заключающийся в некоторых специальных ухищрениях. Поэтому его можно рассматривать как матричную игру. К сожалению, числа т и п вновь оказываются фантастически большими, но, возможно, отдельный элемент игры и может быть проанализирован на оптимальную стратегию.
С другой стороны, «Черный Джек»1) не является матричной игрой (по крайней мере вариант, употребляемый в казино), поскольку в заведении действуют определенные правила. Когда мой приятель Эд Торп нашел и опубликовал выигрышную стратегию (что привело к изменению правил игры в Лас-Вегасе), его метод был основан на прослеживании перемещения карт, уже открытых в процессе игры. Элемент случайности полностью отсутствовал, и поэтому никакой смешанной стратегии х* не существовало.
*) Карточная игра. — Прим, перев.
Существует также так называемая дилемма заключенного, состоящая в следующем. Двое сообщников арестованы, и перед каждым из них стоит дилемма: если он сознается, то его освободят, но при условии, что другой не сознается (и получит при этом 10 лет). Если сознаются оба, то они получат по 6 лет каждый. Но если ни один из них не сознается, то им можно дать лишь по 2 года, поскольку доказанное преступление не является тяжелым. Что делать в этой ситуации? Желание сознаться очень велико, но если они могут положиться друг на друга, то они выкарабкаются. Эта игра имеет ненулевую сумму: потерять могут оба.'
Отличным примером матричной игры является покер. Блефование является существенной частью хорошего покера, и для эффективности оно должно быть непредсказуемым. Это означает, что решение блефовать должно приниматься совершенно случайным образом, если мы принимаем фундаментальное предположение теории игр о том, что противник является опытным, иначе он обнаружит систему и будет выигрывать. Вероятности за и против блефования будут зависеть от известных карт и от размеров ставок— как от сделанных, так и от тех, которые предстоит сделать. Фактически число вариантов вновь оказывается таким, что отыскание наилучшей возможной стратегии х* совершенно нереально. Тем не менее хороший игрок в покер должен играть очень близко к х*. Эта стратегия может быть вычислена точно, если мы предельно упростим игру:
Игрок X получает при сдаче валета или короля с равными вероятностями, в то время как игрок У всегда получает даму. Посмотрев на свою карту, игрок X может либо бросить ее и проиграть поставленный доллар, либо поставить еще два доллара. Если X делает ставку, то У может либо бросить свою карту и проиграть поставленный доллар, либо ответить двумя долларами и увидеть, открыв карты, блефовал игрок X или нет. В итоге старшая карта выиграет 3 доллара, поставленные противником.
Даже в этой простой игре возможные «чистые стратегии» не так уж легко найти, но сделать это будет полезно. Игрок У имеет только две возможности, так как он лишь отвечает на действия игрока X:-
если X ставит, то У бросает свою карту,
если X ставит, то У отвечает и идет на 3 доллара.
Игрок X может использовать четыре стратегии, некоторые из них разумные, а некоторые — нет:
он ставит 2 доллара, имея на руках короля, и бросает каргу, имея валета,
он ставит в любом случае (блефует),
он бросает карту в любом случае и проигрывает 1 доллар,
он бросает карту, имея на руках короля, и ставит, имея валета.'
Составление платежной матрицы требует некоторого терпения:
йи —0, так как игрок X теряет один доллар в половине случаев на валете и выигрывает на короле (К бросает карту).
а21=1,так как игрок X теряет один доллар в половине случаев и выигрывает 3 доллара также в половине случаев (поскольку У пытается обыграть его, даже если X имеет короля).
а12=1, так как игрок X ставит, а У бросает карту (блеф удается).
а22 = 0, так как игрок X выигрывает 3 доллара на короле и проигрывает 3 доллара на валете (блеф срывается).
При третьей стратегии всегда теряется доллар, четвертая также не приводит к успеху. В результате матрица А будет иметь вид
ГО 1 —10’
А —0 —1 —2. ■
Оптимальной стратегией для игрока X в этой игре будет блефование в половине случаев, х* = (1/2, 1/2, 0, 0), а подчинившийся игрок У должен выбрать у* = (1/2, 1/2). Цена игры равна 50 центам.
Странно заканчивать книгу таким образом, обучая упрощенному варианту игры в покер, но я думаю, что и покер должен иметь свое место в линейной алгебре и ее приложениях.
Упражнение 8.5.8. Найти х*, у* и цену игры и для матрицы
Г1 0 О-4= 020.
Ь о 3_
Упражнение 8.5.9. Вычислить min max (х^-)-х^у^).
Ы^ 5 0 х. > 0
Z/i+y2=l х,+ хг = 1
Упражнение 8.5.10. Объяснить каждое из неравенств в (18). Затем, после того как теорема о минимаксе превращает их в равенства, объяснить соотношения для седловой точки (17).
Упражнение 8.5.11. Показать, что х* = (1/2, 1/2, 0, 0) и у* = (1/2, 1/2) являются оптимальными стратегиями при игре в покер. Для этого вычислить у Ах* и у* Ах и проверить выполнение условий для седловой точки (17).
Упражнение 8.5.12. Было ли доказано, что в шахматах не может существовать стратегии, всегда приносящей выигрыш черным? Я думаю, что это известно только для случая, когда игроки могут делать по два хода подряд. Если бы черные имели выигрышную стратегию, то, поскольку белые могли бы двигать коня вперед и назад, мы пришли бы к тому, что выигрывают оба.
Приложение А
ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ,МАТРИЦЫ И ЗАМЕНЫ БАЗИСОВ
Пусть задана матрица Л размера тхп и n-мерный вектор х. Вектор х лежит в пространстве R", а произведение Ах—в R™. Отображение х в Ах задает преобразование пространства R" в Rm, и правила матричного умножения немедленно приводят к его наиболее важному свойству: для любых векторов х и у и скалярных величин b и с справедливо соотношение
А фхА-су) = b (Лх) + с(Ау\ (1)
Преобразование, обладающее свойством (1), называется линейным, ы, следовательно, любая матрица А задает линейное преобразование.
Целью этого дополнения является изучение других примеров линейных преобразований с тем, чтобы выработать общий взгляд на них. Эта цель лежит также в основе более абстрактного подхода к предмету линейной алгебры, когда мы берем в качестве исходного свойство (1) и выводим следствия из него; мы же предпочли начать изложение с матриц. Но теперь пора отойти от исследования линейных алгебраических систем Ах = Ь и их матриц и рассмотреть другие примеры линейных преобразований.
Прежде всего мы не должны забывать о существовании векторных пространств, отличных от R" и С". Для того чтобы некое множество было векторным пространством, требуется лишь подходящий способ образования комбинаций вида Ьх + су и уверенность в том, что любая подобная комбинация лежит в этом пространстве.
Пример 1. Пусть Р„ есть пространство многочленов степени п, р = a0A-ciit + • • • +«„/". Эти многочлены являются «векторами», и сумма двух таких векторов, безусловно, принадлежит Рп. Многочлены специального вида, р0 = 1, pt = t, ..., рп = tn, образуют базис в этом пространстве, и размерность его равна п+1.
Пример 2. Если задано линейное дифференциальное уравнение порядка п с постоянными коэффициентами
dnu . dn~u , , л
17S-+^3F^+---+c»u = 0’ <2)
то его решения и(х) образуют векторное пространство Sn. Для любых двух решений и и и из закона суперпозиции следует, что Ьи-(-си также является решением. Другими словами, решения можно складывать и умножать на скалярные величины. Простейшие решения являются чисто экспоненциальными, и — ех<; возможны также решения вида 1ем, если X является корнем кратности два характеристического уравнения, вида Рем, если X является корнем кратности три, и т. д. В целом имеется п решений такого вида и они образуют базис пространства решений 1).
Пример 3. Пусть Н есть гильбертово пространство, введенное на стр. 159. Оно состоит из всех векторов v = (ut, vs, и3 ...), имеющих бесконечное число компонент, но конечную длину:
Н2 = У12 + Уг + из+ ■ ■ • < оо-
Разу меется, в этом случае конечный базис отсутствует (Н является бесконечномерным), поскольку для определения и требуется бесконечное количество «элементов информации».
Используя эти примеры векторных пространств, нам будет легче проиллюстрировать идею линейного преобразования. Вспомним, что основным свойством является линейность; преобразование А может отображать одно векторное пространство в любое другое (или в себя), но оно должно удовлетворять соотношению А (Ьх + су) = b (Ах) А- с (Ау).
Пример 4. Пусть А есть оператор дифференцирования на пространстве многочленов степени п; A — d/dt. Тогда для любого многочлена р справедливо соотношение
Ар = А (ай + avt + ... + antn) = ах + 2aJ + ... + па^"-1. (3)
Мы можем рассматривать А либо как линейное преобразование пространства Рп в пространство Р„_х меньшей размерности, либо как преобразование из Рп в Рп. В первом случае это будет преобразование на пространство Рп_х и каждый многочлен из Рп_^ может быть получен путем дифференцирования некоторого многочлена из Рп. Во втором случае это не так, поскольку в пространстве Р„ существуют многочлены (например, I”), которые не могут присутствовать в правой части (3); если найти «.матрицу дифференцирования», то она не будет обратимой.
Пример 5. Пусть оператор А, действующий на элементы пространства Рп_г, есть оператор интегрирования-.
А (а0 4-tV + • •. +а„_1/”-1) = а0/ + fli ’2' + • • • + an-i "у •(4)
Эта формула определяет преобразование из Рп_г в более широкое пространство Рп, и оно вновь является линейным:
t/i
\bp (t}A-cq(t)]dt = b^ p^dt + c J q^dt. 000
Можно ли при помощи интегрирования получить все многочлены пространства Рп, т.е. является ли процедура интегрирования отображением «на»? Нет, хотя это отображение является взаимно однозначным, т. е. различные многочлены имеют различные интегралы.
Пример 6. Выше мы обозначили через Sn пространство всех решений дифференциального уравнения (2). Пусть х есть произвольный вектор из R” и его компоненты являются начальными значениями решения и, т. е. при / = 0 имеем du zd" и
u^ = xv "5Г^ = х2-^r(0) = -V
Задавая эти начальные значения, мы выбираем одно определенное решение дифференциального уравнения. Такое соответствие между вектором х из R” и функцией и из Sn является линейным преобразованием между двумя пространствами: решение линейного уравнения линейно зависит от начальных значений. Это преобразование является одновременно взаимно однозначным и преобразованием «на»: различные начальные значения должны давать различные решения и любое решение может быть получено при надлежащем выборе начальных значений. Следовательно, матрица порядка п, описывающая это преобразование, будет обратима.
Пример 7. Пусть А — оператор левого сдвига на гильбертовом пространстве Н:
Au = A^ov v„ и3, . ,.) = (и2, у„ ov ...).
Это отображение является линейным и «на»; при надлежащем выборе входного вектора на выходе может быть получен любой вектор. Поскольку мы можем выбирать любой элемент и^ оператор не будет взаимно однозначным; и, не присутствует на выходе. Он выбрасывается, и в результате оператор А имеет одномерное нуль-пространство: Л (уп 0,0, .. ,) = (0, 0, ...).
В' этих примерах проверка свойства линейности тривиальна; если линейность имеется, то не заметить ее практически невоз-
можно. Тем не менее данное свойство является наиболее полезным свойством преобразования ’), и оно естественным образом возвращает нас к матрицам. Фактически главная цель этого приложения состоит в том, чтобы показать, что каждое линейное преобразование может быть представлено в виде матрицы. Эта матрица будет зависеть от базисов, выбираемых в векторных пространствах, и строится по следующему правилу:
Пусть в пространстве V задан базис ит, ..., уп, а в пространстве IF— базис шц, .... wm. Тогда любое линейное преобразование А из V в W представляется матрицей [Л] размера тхп. Ее элементы а^- определяются путем применения преобразования А к каждому из элементов Oj и представления результата в виде комбинации элементов w:
Аи,= 2 j = \, п. (5)
Другими словами, /-й столбец матрицы определяется тем, как изменяется базисный вектор и, под действием преобразования А.
Пример 8. Пусть А есть оператор интегрирования, а в качестве базиса выбраны многочлены 1, t, I2, ...: элементы и, и Wj равны У~х. Для вычисления матрицы [Д] нужно посмотреть, как А действует на Ур
Аи,= С ti-x dt = -^- = — m/+1.
7 Jl i 71
о
Единственным ненулевым элементом в i-м столбце матрицы является а^, равный 1//. Если пространство V имеет размерность и = 4, то IF будет иметь размерность т = 5 и искомая матрица размера 5x4 есть
ГО 0 0 0'
10 0 0
0 1 ° 0
0 0 Д 0
о о о 1 .4 J
Пусть мы хотим проинтегрировать функцию о(/) = 2^ + 8<3. Тогда мы записываем и в виде
2t + 8/3 = 0и, + 2у2 + 0и3 + 8и4
’) На втором месте стоит, пожалуй, обратимость.
и умножаем соответствующие коэффициенты на А:
Ml Г0'=
2
0 .8.
", т. е. $ 2/ ф- № = ф3 + 2iy6 = Р 4- 2/4.
1
0
Пример 9. Пусть А есть оператор дифференцирования, переводящий Рп в пространство Pn-t меньшей размерности. При том же выборе базиса действие А на у, имеет вид
Поэтому /-й столбец матрицы [Л] вновь содержит лишь один ненулевой элемент, равный / — 1 и находящийся в строке с номером I = / — 1. Для размерностей 5 и 4 матрица имеет вид
М1 =М1 =-О о о.0-О о о.01 0 0 0'
М1 =
М1 =
-О о о
.0
-О о о
.0
0 2 0 0 0 0 3 0 0 0 0 4.
Замечание. Мы рассматриваем дифференцирование и интегрирование как взаимно обратные операции. По крайней мере дифференцирование, следующее за интегрированием, приводит к исходной функции, т. е. вторая матрица является левой обратной к первой. Произведение двух матриц, приведенных выше, есть единичная матрица 4-го порядка. Но прямоугольная матрица не может иметь двухстороннюю обратную и произведение в другом порядке не является единичной матрицей:
'0 0 0 0 0"
0 10 0 0
MJinteg [^]diff —
0 0 10 0
0 0 0 10
_0 0 0 0 1_
Нулевой элемент в левом верхнем углу соответствует тому, что
для константы операция дифференцирования с последующим ин
тегрированием дает нуль.
Пример 10. Матрица, представляющая левый сдвиг в гильбертовом пространстве, является бесконечно большой, но ничем дру-
гим не примечательна:
Нам остается лишь проверить выполнение общего правила (5) при составлении матрицы и показать, что [Л] содержит полную информацию о линейном преобразовании Л, представляемом ей. Другими словами, зная базисы в пространствах У и W и зная матрицу [Л], мы должны получать результат воздействия преоб
Л
разования Л на произвольный вектор u = S-V7 пространства V.
Если вектор х состоит из коэффициентов разложения и по базису uv ..., v„, то вектор у = [Л] х дает коэффициенты разложения Ли по базису wv ..., wm. Следовательно, результат воздействия преобразования Л на любой элемент и восстанавливается путем умножения матриц:
Ли = 5 У:™: = 2 aijxjwi-(6)
i = 1i. i
Доказательство основывается на линейности преобразования Л: для произвольного v = '^ixjyj имеем
Ли = Л (У = 2 XjAu...
V 1 1 1J 1 1 1
Подставляя выражение для Аи, из (5), получаем (6). Если задано действие преобразования А на каждый элемент базиса, то свойства линейности достаточно для определения действия А на любой другой вектор пространства..
Укажем на еще одну связь между линейными преобразованиями и матрицами. Если Л и В являются линейными преобразованиями изУв^ииз^вг соответственно, то их произведение есть преобразование из V в Z; оно начинается с элемента и из V, который переходит в Ли из 1У и затем в ВАи = = В(Лц) из Z. Последнее соотношение в точности совпадает с правилом (7) стр. 25, которое служило основой умножения матриц. Поэтому вполне естественно, что матричное умножение правильно отражает это произведение линейных преобразований:
Если матрицы [Л] и [В] представляют линейные преобразования А и В в базисах {и, } в V, {да,} в W и {?, } в Z, то произведение этих двух матриц представляет преобразование В А:
(7)(7)[ВЛ] = [В][Л].
(7)
(7)
Едва ли следует говорить о том, что ВА вновь является ли; нейным преобразованием, хотя оно и выглядит как квадратичное. Может показаться, что при А(х) = х и В^ = х произведение В А будет связано с х2, но на самом деле это, разумеется, не так и квадрат тождественного преобразования вновь является тождественным преобразованием: В(А(х^ равняется х.
Упражнение АЛ. Найти матрицу размера 3x5, представляющую оператор двукратного дифференцирования d^/dt^, переводящий пространство Р^ в Р2 (многочлены четвертого порядка в многочлены второго порядка).
Упражнение А.2. Для оператора левого сдвига из примера 10 показать, что оператор правого сдвига [А]1 является лишь односторонним обратным. Строки матрицы [А] являются ортонормированными, но столбцы таковыми не являются — ситуация невозможная для матриц размера пхп.
Упражнение А.З. Пусть V = W есть пространства матриц размера 2x2 с базисом
1
0"
0
1
иг =wA =
0
0
,U2 = ^2 =
0
0
^8 = ^3 =
0
0"
,v4 = ^4 —
0
0
.1
0
0
1
Найти преобразование А, переводящее каждую матрицу в транспонированную к ней, и, пользуясь правилом (5), найти матрицу четвертого порядка [А]. Почему [А]2 = /?
каждогокаждогосостоящее в умножении слева на фиксированную матрицусостоящее в умножении слева на фиксированную матрицу2 02 0Упражнение А.4. В конце второй главы рассматривалось преобразование, Г1 01
каждого
каждого
состоящее в умножении слева на фиксированную матрицу
состоящее в умножении слева на фиксированную матрицу
2 0
2 0
элемента указанного выше пространства V. Найти матрицу порядка 4, пред
ставляющую это преобразование на V.
Упражнение А.5. Пусть дифференциальное уравнение (2) имеет вид dnu[dtn = 0. Найдя базис, описать пространство S„ всех его решений.
Упражнение А.6. Пусть на плоскости ху преобразование А переводит каждый вектор в его зеркальное отражение относительно оси х, а преобразование В переводит каждый вектор в вектор той же длины, но направленный в противоположную сторону от начала координат. Найти матрицы [А], [В] и [ВА], пользуясь стандартными базисными векторами «1 и е2, и описать, как изменится вектор после действия на него преобразования А и затем В.
ЗАМЕНА БАЗИСА
Пусть уп .... у„ и о»!, ..., wn являются базисами в одном и том же векторном пространстве, и пусть некоторый вектор записывается сначала в одном базисе, а затем в другом
(8)
Как связаны между собой эти наборы коэффициентов?
(9)(9)Если два базиса связаны друг с другом соотношениями у,-^^^, то коэффициенты х и у связаны иным образом, но с теми же коэффициентами s,y:
(9)
(9)
У/=2 suxp
Легче всего установить это, проверив, что новые коэффициенты у, удовлетворяют условию ^Хуи^^у,-^, так что они действительно являются коэффициентами в разложении вектора и:
5 XjUj = 2 2 XjSaWi равняется ^ у^- ^ ^ s^x^. /=i 7 j=\ i=i i=i f=i/=i
Замена базиса также относится к теории матриц, хотя и несколько менее очевидным образом. (Часто это представляют как замену переменных, что с математической точки зрения приводит к тому же результату.) Пусть мы определили преобразование А векторного пространства в себя и выбрали базис ..., шл, один и тот же для W и для V = W. Тогда уравнение (5) дает соответствующую матрицу [Л]^ (с элементами а^ по правилу Aw^^a^W;, и мы хотим узнать, как будет выглядеть матрица того же самого преобразования А при выборе другого базиса ип . . ., ип в исходном пространстве (т. е. в пространствах V и W). Займемся отысканием нового представления преобразования А. Пусть S есть матрица, описывающая изменение базиса, Т. е. У; = ^5^.
Новая матрица [Лф, представляющая рассматриваемое преобразование в базисе v, связана с исходной матрицей [Л]да, построенной по базису w, соотношением
[Л^з-чльл (10)
Другими словами, замена базиса порождает преобразование подобия матрицы, представляющей линейное преобразование.
Для произвольного вектора У = 2х/и/ вектоР Sx дает его коэффициенты разложения по базису ш, затем [A]e,Sx дает коэффициенты разложения Ли по базису ш и, наконец, S-^A^Sx дает коэффициенты разложения Ду по исходному базису и. Поскольку это в точности совпадает со свойством, определяющим [Л]^, обе части в (10) должны совпадать друг с другом.
Пример 11. Пусть А есть преобразование, переводящее любой вектор (х, у) в его зеркальное отражение (у, х) относительно биссектрисы первого квадранта. Для стандартного базиса а^ = =(1, 0) и щ2 = (0, 1) соответствующая матрица легко вычисляется; поскольку преобразование А переводит wv в щ2 и w.^ в wv это будет матрица перестановки
0 Г
0. '
Пусть мы поворачиваем плоскость, так что один из векторов нового базиса образует угол в 45° с осью х, иг = (1, 1), а другой перпендикулярен ему, и2 = (—1, 1). Тогда, записывая уг в виде и уг в виде —щг + ЕУ2, получаем
Для нового базиса преобразование А принимает особенно простой вид. Поскольку вектор vt лежит на биссектрисе первого квадранта, он совпадает со своим зеркальным отражением, так что Ли1 = и1. Другой базисный вектор v2 = (—1, 1) переходит в противоположный, Лц2 = — и2. Следовательно,
Г1 010•
Эта матрица является диагональной, поскольку базис vn и2 образован из собственных векторов преобразования А. Эти собственные векторы являются столбцами «матрицы замены базиса» S, так что она приводит А к диагональному виду, как это было в гл. 5:
A = ^L = S-1^]WS.
Упражнение А.7. Если вектор vt ортогонален к иг и А представляет собой проекцию на направление у2, то как будет выглядеть матрица [А]^? Чему равны собственные значения этой (или любой другой) матрицы проектирования?
Упражнение А.8. Найти матрицу, собственные векторы которой суть fi=(l, 3) с собственным значением 4 и у2=(2, 0) с собственным значением 0.
Приложение В
ЖОРДАНОВА ФОРМА МАТРИЦЫ
Пусть задана квадратная матрица А, и мы ищем такую матрицу М, чтобы матрица М-1АМ была как можно ближе к диагональной. В простейшем случае матрица Л обладает полным набор )м собственных векторов, которые и располагаются в столбцах матрицы М, или, в старых обозначениях, матрицы S. Жорданова форма в этом случае есть J = М~ХАМ = К, и она состоит целиком из одномерных блоков J; = Х;, так что цель получения диагональной матрицы достигнута. В более общем и более сложном случае некоторые собственные векторы отсутствуют и получить диагональную форму матрицы невозможно. Именно этот случай нас сейчас и интересует.
Будем доказывать следующую теорему, которая уже была нами сформулирована в гл. 5:
Если матрица имеет s линейно независимых собственных векторов, то она подобна матрице, имеющей специальную жорданову форму,
LLJ = M-XAM =
L
L
с блоками
Собственному значению Х = 8 кратности 2 здесь соответствует единственный собственный вектор, направленный вдоль первой координатной оси е1 = (1, 0, 0, 0, 0)т; поэтому число Х = 8 присутствует лишь в одном блоке Jt. Трехкратному собственному значению Х = 0 отвечают два собственных вектора, е, и е6, соответствующие жордановым клеткам J, и Ja.
Основной вопрос состоит в следующем: если А является произвольной матрицей размера 5x5, то при каких условиях ее жорданова форма будет совпадать с J? Когда найдется матрица М, такая, что М-1АМ = J"? Первое требование заключается в том, что каждая подобная матрица А должна иметь те же самые собственные значения 8, 8, 0, 0, 0. Но этого недостаточно, ведь диагональная матрица с такими собственными значениями не подобна J. В рассмотрении должны участвовать собственные век
торы матрицы.
Для ответа на этот вопрос перепишем соотношение М-1АМ = J в более простом виде AM = MJ:
Перемножая матрицы, получаем
(1)(1)Axt = 8лу и Ахг = 8х2 + xt,
(1)
(1)
Ах3 = 0х3 и Лх4 = 0х4 + ха; Ах6 = 0х5.(2)
Теперь легко увидеть условия на матрицу А. Она должна иметь три истинных собственных вектора, как и матрица J. Собственный вектор, отвечающий собственному значению Х = 8, будет находиться в первом столбце матрицы М точно так же, как это было бу для матрицы S: Дх^вхр Другие два вектора, обозначаемые через х3 и х6, размещаются в третьем и пятом столбцах матрицы М; Ах3 = Ахь = 0. Кроме того, должны существовать еще два специальных вектора х2 и х4, которые называются «обобщенными собственными векторами». Говорят, что вектор хе
принадлежит цепочке векторов, начинающейся с ^ и описываемой формулами (1). Фактически х2 является единственным, не считая xv вектором в цепочке *) и соответствующий блок Д имеет второй порядок. Соотношения (2) описывают две различные цепочки, в одной из которых кроме х3 имеется еще вектор х4, а другая состоит из одного вектора х5; блоки Д и J3 имеют размеры 2x2 и 1x1 соответственно.
Отыскание жордановой формы матрицы А сводится к отысканию этих цепочек векторов, каждая из которых возглавляется собственным вектором: для каждого i имеем
Либо АХ: = Х,ХЬ Либо Ах,- = К-Х;4-Х:_,. (3)
Векторы х{ образуют столбцы матрицы М, и каждая отдельная цепочка дает один блок в матрице J. Мы должны показать, как строятся эти цепочки для произвольной матрицы А. Тогда если эти цепочки удовлетворяют соотношениям (1), (2), то матрица J будет жордановой формой для А.
Я думаю, что наиболее ясным и простым является метод, предложенный Филипповым и описанный в т. 26 «Вестника Московского университета». Построение осуществляется по индукции. Очевидно, что матрица первого порядка совпадает со своей жордановой формой. Предполагая, что построение выполнено для матриц порядка, меньшего, чем п (это и является предположением индукции), осуществим это построение для матрицы порядка п. Мы хотим объединить общее объяснение для матрицы А с частным для рассматриваемой матрицы J и поэтому заранее предполагаем, что обе эти матрицы имеют одинаковые собственные значения.
Метод Филиппова состоит из трех шагов.
Шаг 1. Поскольку одно из собственных значений есть Х=0, матрица А вырожденна и пространство ее столбцов имеет размерность г < п. Для этого пространства меньшей размерности предположение индукции гарантирует существование жордановой формы — в пространстве столбцов должны существовать г независимых векторов Wj, таких, что
Awj — 'kiWj или Awi = 'kiwiA-wi_1. (4)
В нашем примере с А = J ранг матрицы равен г = 3 и пространство столбцов натянуто на векторы ег, ег, е3, они будут играть роль векторов щ;, так что
Jw4 = Swv Jw3 = %w4A"wv Jw3 = Qw3. (б)
т) В отечественной литературе эти векторы называются присоединенными.—Прим, перев.
Шаг 2. Пусть нуль-пространство и пространство столбцов матрицы А имеют пересечение размерности р. Разумеется, каждый вектор из нуль-пространства является собственным вектором, соответствующим Х = 0. Поэтому шаг 1 должен давать р цепочек, соответствующих этому собственному значению, и нас интересуют векторы w(, находящиеся в конце цепочек. Каждый из этих р векторов принадлежит пространству столбцов, так что они являются комбинациями вектор-столбцов матрицы А: ш; = Ау; для некоторого у:.
В нашем примере с А = J нуль-пространство содержит векторы е3 и е5 и его пересечение с пространством столбцов натянуто на вектор е3; следовательно, р=\. В (5) имеется только одна цепочка, соответствующая Х = 0, вектор е3 расположен на ее конце (или в начале) и e8 = Je4. Значит, у = е4.
Шаг 3. Нуль-пространство имеет размерность п—г. Следовательно, помимо своего ^-мерного пересечения с пространством столбцов оно должно содержать п — г— р дополнительных базисных векторов z^ лежащих вне этого пересечения. В нашем примере п—г—р — 5— 3—1 = 1 и нуль-вектор z = e5 является независимым от пространства столбцов: именно этот вектор z и дает одномерный блок J3 = (0).
Объединяя эти шаги, мы и приходим к теореме Жордана:
г векторов w£, р векторов у; и п — г—р векторов гг образуют жордановы цепочки матрицы А и эти векторы являются линейно независимыми. Они составляют столбцы матрицы М и J = М-1АМ есть искомая жорданова форма.
Если мы хотим перенумеровать эти векторы в видех^ ...,хп и согласовать их с условиями (3), то каждый вектор у£ должен располагаться сразу за порождающим его вектором шр он будет завершать цепочку, соответствующую Xz = 0. Векторы г располагаются в конце, каждый в своей собственной цепочке, и вновь собственное значение равняется нулю, поскольку эти векторы принадлежат нуль-пространству. Блоки, соответствующие ненулевым собственным значениям, обработаны на первом шаге, блоки с нулевыми собственными значениями расширяются на одну строку и столбец на втором шаге, и третий шаг добавляет блоки Jz = (0) первого порядка.
Единственный, притом технический, вопрос заключается в проверке независимости всего набора векторов w,, у, и zz. Для этого предположим, что некоторая комбинация векторов обращается в нуль:
(6)(6)с^ + 2 diPi + 2 SiZi = о.
(6)
(6)
Умножая на Л и учитывая соотношения (4) для векторов хюь получаем
+ 2^!^У1 = 0.+ 2^!^У1 = 0.(7)(7)^iлибоXj.nv^ty;,!
+ 2^!^У1 = 0.
+ 2^!^У1 = 0.
(7)
(7)
Векторы Ay^Wt располагаются в концах цепочек, соответствующих собственным значениям ^,- = 0, так что они не могут присутствовать в первой сумме. Поскольку (7) является некоторой комбинацией векторов шь которые по предположению индукции являются независимыми (они образуют жорданову форму в пространстве столбцов), коэффициенты ф должны обращаться в нуль. Возвращаясь к (6), получаем 2ciwi =—^g^o гДе левая часть принадлежит пространству столбцов. Поскольку векторы 2 не лежат в этом пространстве, все коэффициенты g{ должны равняться нулю. В результате имеем ^с^^О, так что независимость векторов wt влечет за собой равенства ct = 0.
Если исходная матрица А была невырожденной, то эти три шага должны применяться к матрице А* — А—cl. (Постоянная с выбирается таким образом, чтобы матрица А' была вырожденной; она может равняться любому собственному значению матрицы А.) Алгоритм приводит матрицу А'к ее жордановой форме М-1А'М = J', образуя цепочки xt из векторов шг, yt и zt. Тогда в жордановой форме для матрицы А будут использованы те же самые цепочки и матрица М;
M-1AM = M-1A'M+M-1cM = J'4-c/ = J.
Этим завершается доказательство того, что каждая матрица А подобна некоторой жордановой матрице J. С точностью до перестановки блоков она подобна лить одной такой матрице J, т. е. жорданова форма матрицы А является единственной. Поэтому множество матриц распадается на подмножества со следующим свойством: Все матрицы одного и того же подмножества имеют одинаковую жорданову форму и все они связаны друг с другом преобразованиями подобия, но никакие две матрицы из разных подмножеств не являются подобными. Этой классификацией и завершается наша книга.
Пример.Пример.ГО 1ГО 1А = 0 0А = 0 0.0 0.0 02'10_2'10_
Пример.
Пример.
ГО 1
ГО 1
А = 0 0
А = 0 0
.0 0
.0 0
2'
1
0_
2'
1
0_
Эта матрица имеет собственное значение Х = 0 кратности три. Она взята нами со стр. 276 и имеет ранг г = 2 и лишь один
собственный вектор. Пространство столбцов содержит лишь одну
цепочку tyn wv которая цами матрицы Л:
гг
совпадает с последними двумя столб-
Л 0 =0
и
0
или
Л^х = 0
’21 гг
1 = 0
А |_0_
и Aw2 = 0пу2 + wt.
Нуль-пространство лежит в пространстве столбцов, и оно натянуто на вектор щР Следовательно, на втором шаге мы получаем р = 1, так что вектор у находится из уравнения
’2"
’0‘
Ау = ш2 =
1
, и он равен у =
0
А
_1_
шг, у образует матрицу М:
’1 2 01
’0 1 0’
0 1 0
и Л1-ММ =
0 0 1
= J.
,0 о к
-0 о 0_
Таким образом, цепочка wv
Применение к решению уравнения du/dt = Au. Как обычно, мы упрощаем задачу путем разделения переменных. Это разделение будет полным при наличии полного набора собственных векторов и и = Sv; в настоящем же случае наилучшей заменой будет и = Mv. Это дает новое уравнение Mdv/dt = AMv, или dv/di = Jv, которое является наипростейшим для данной матрицы. Его неизвестные связаны только внедиагональными единицами в каждой жордановой клетке. Для приведенной выше матрицы, подобной одному блоку, имеем
dr
сП
i °
0 ' О
1 01
о 1 V, 0 0
da/dt = b, или db/dt=c, dc/dt = 0,
a = a0 + b0/+c0Z2/2, или b= Ь0А~сй1,
Система решается с последнего уравнения и на каждом шаге добавляется степень t. (Для блока порядка / в решении будут степени до /г-1.) Экспоненты от матрицы J для этого случая и
предыдущего случая матрицы порядка 5 имеют вид
e8t te8t 0 0 0
’1 t /2/21о е8/ 0 0 0
eJt = 0 1 tи ел = 0 01/0
.001^0 00 1 0
..0 00 0 1
Легко видеть, каким образом коэффициенты а, b и с участвуют в первой из экспонент. И для второго примера также легко увидеть все пять «частных решений» уравнения du/dt — Au. Три из них являются чистыми экспонентами ut = e8lxv u3 = e0txs, us = eotxb, полученными точно так же, как и раньше, из трех собственных векторов матрицы А. Оставшиеся два решения содержат обобщенные собственные векторы
иг = е8Ч1хгА-хг>иг = е8Ч1хгА-хг>и ug = e0t^x3A-x4Yи ug = e0t^x3A-x4Y(8)(8)
иг = е8Ч1хгА-хг>
иг = е8Ч1хгА-хг>
и ug = e0t^x3A-x4Y
и ug = e0t^x3A-x4Y
(8)
(8)
Наиболее общее решение уравнения du/dt — Au является комбинацией cTut + . .. + с5и5, и комбинация, равняющаяся и0 при / = 0, вновь имеет вид
и0 = с1х1+... 4-сЙх6, или и0 = Мс, или с = М-1и0.
Это означает лишь, что и = МелМ-1и„ и что матрицы S и Л в старой формуле 8еА<5~1иЙ заменяются на М и J.
Упражнение В.1. Найти жорданову форму (в три шага) для матриц
Л=П П и В=Г0 1 21.
1 11 1О ОО ОО ОО ООООО
1 1
1 1
О О
О О
О О
О О
О
О
О
О
Упражнение В.2. Показать, что частное решение и2 в (8) удовлетворяет уравнению du/dt — Au именно благодаря наличию цепочки Лх1 = 8%1, Ах2 = = 8%2 4-х,.
Упражнение В.З. Для приведенной выше матрицы В вычислить, используя форму Ме^М-г, экспоненту eBt и сравнить ее с рядом I-A-Bt-V
Список литературы
Абстрактная линейная алгебра
Гантмахер Ф. Р. Теория матриц.—М.: Наука, 1967.
Halmos Р. R. Finite-Dimensional Vector Spaces, Van Nostrand-Reinhold, Princeton, New Jersey, 1958.
Hoffman K., Kunze R. Linear Algebra, 2nd ed., Prentice-Hall, Englewood Cliffs, New Jersey, 1971.
Muir T. Determinants, Dover, New York, 1960.
Прикладная линейная алгебра
Беллман Р. Введение в теорию матриц.—М.: Наука, 1969.
Ben-Israel A., Greville Т. N. Е. Generalized Inverses. Theory and Applications, Wiley, New York, 1974.
Bradley S. P., Нах A. C., Magnanti T. L. Applied Mathematical Programming, Addison-Wesley, Reading, Massachusetts, 1977.
Gale D. The Theory of Linear Economic Models, McGraw-Hill, New York, 1960.
Luenberger D. G. Introduction to Linear and Nonlinear Programming, Addison-Wesley, Reading, Massachusetts, 1973.
Noble B. Applied Linear Algebra. Prentice-Hall, Englewood Cliffs, New Jersey, 1969.
Вычислительная линейная алгебра
Форсайт Дж., Молер К. Численное решение систем линейных уравнений. — М.: Мир, 1969.
Lawson С. L., Hanson R. J., Solving Least Squares Problems, Prentice-Hall, Englewood Cliffs, New Jersey, 1974.
Stewart G. W. Introduction to Matrix Computations, Academic Press, New York, 1973.
Varga R. S. Matrix Iterative Analysis, Prentice-Hall, Englewood Cliffs, New Jersey, 1962.
Wilkinson J. H. Rounding Errors in Algebraic Processes, Prentice-Mall, Englewood Cliffs, New Jersey, 1S63.
Wilkinson J. H. The Algebraic Eigenvalue Problem, Oxford Univ. Press, London and New York, 1965. [Русский перевод: Уилкинсон Дж. Алгебраическая проблема собственных значений,—М: Наука, 1970.]
Wilkinson J. Н., Reinsch С. Eds. Handbook for Automatic Computation II, Linear Algebra, Springer, Berlin and New York, 1971. [Русский перевод: Уилкинсон, Райнш. Справочник алгоритмов на языке АЛГОЛ.— М: Машиностроение, 1976;]
Young D. М. Iterative Solution of Large Linear Systems, Academic Press, New York, 1971.
РЕШЕНИЯ
Глава 1
u = 3, о=1, to=0, с ведущими элементами 2, 1, —5.
и=1, о = 2, to = 3, г = 4.
Коэффициент +1 сделает систему вырожденной.
При исключении вычисляется множитель 1 = с!а, а затем d—lb.
Стоимость 3 600 000 операций на ЭВМ составляет 1 доллар, так что теоретически можно решить систему порядка п = 10 800 0001/ж — 221; на практике же нужно учитывать и накладные расходы. При увеличении затрат в 1000 раз число п увеличится лишь в 10 раз.
Второй член bc-yad равен (а+ b) (с+ d) — ас — bd.
ц=1, о = 3, ш=2. "17"
Лх = 4 .
17
1.3.4. Углы параллелограмма суть точки (2, 1), (0, 3), (2, 4) и (0, 0).
1.3.5. Результатом первого и второго шагов исключения является матрица
"21 Г
£Л = 0-1 —2
0 3 2
1.3.6. Результатом первого, второго и третьего шагов исключения является
матрица
Г2 1 Г
ЕА = 0—1 —2 О 0 —4.
1.3.7. ЕЛ = [0]; произведение состоит из In элементов; на получение каждого из них затрачивается т умножений.
1.3.8. ЕА =
13'
—82_
результатом
первого
и второго
шагоа
АВС
является
откуда
откуда
1.3.12.
1.3.13.
1.3.9. Матрица исключения.
следует
Ь = с = О,
1.4.3.
LU =
01
0
a
1.4.2. А =
Верно; неверно; верно; неверно.
Весами являются элементы первой строки матрицы А.
1.4.4.
bl
a
d
da
0
c
1.4.5.
L
a = d.
, D = A,
E = F =
" П b Jal
(ad— Ьс^а\ [ 0
2
“1
1.5.1.
1.5.2.
_3
2
(150)3/3 к (150)2 равно
1.4.6. Отношение
1.4.7.
u =
0
2
2
0
£
3J
50.
и = 2, v =—3, to = 4; переставить строки
2
Второе уравнение есть 0u4-0u = b2 — 3&j,
вует ТОЛЬКО при 62 = 361.
и 3.
так что
0
_ 2, ~ 3
1 .
решение сущест
1.5.3. Р =
"0 Г
J 0J ’
L = I, D =
2 0'
.0 L
и=
'т 0 1
1.5.4. Р =
"1 О О'
О О 1
О 1 О
1.5.5. Обе системы являются вырожденными; первая не имеет решения, а вторая имеет решение u=v=w=1 (или любое другое число).
1.5.6. С^ВА-к
1.5.7.
А-1 = А, В-1 — транспонированная к В =
'cos 6 sin 9 ' — sin 9 cos 9 ‘
1.5.9. Третья строка умножается на 8 и прибавляется к первой строке;
в матрице
Е-1 вместо числа 8
будет стоять —8.
1.5.10. A~y = —, ad—be
1.5.11. Л-1 =
9
-36
30
d
—с
—61
, A
а
-1-1 — 4
"3
2
2
4
2
Г
2 3
—36
192
— 180
30'
—180
180_
каждого из множителиИ11 .каждого из множителиИ11 .расположенных ниже равняются плюс илирасположенных ниже равняются плюс или£ J.22£ J.22Г 1Г 1-1-11.6.1. L =1.6.1. L =1, D — I, U=LT.1, D — I, U=LT.
каждого из множители
И
1
1 .
каждого из множители
И
1
1 .
расположенных ниже равняются плюс или
расположенных ниже равняются плюс или
£ J.
22
£ J.
22
Г 1
Г 1
-1
-1
1.6.1. L =
1.6.1. L =
1
, D — I, U=LT.
1
, D — I, U=LT.
Ведущие элементы равняются 0.001 и 1000; после перестановки они становятся равными 1 и —1.
Если ведущий элемент является большим, то он умножается на
число, меньшее единицы, при исключении элементов. Предельный случай, когда все
минус единице, —это
— 1 1_
Нижняя матрица второго порядка становится симметрической:
d—Ьг/а е — be/ае — beja f—c^fa
— 1-
1.6.3.1.6.3.2 —1
1.6.3.
1.6.3.
-12—1
— 12 —1
—1 1.
1.6,4. («1, «2> «а) = (л2/8, 0> ^л2/8) вместо истинных значений (1,0, —1).
Глава 2
Точки с целочисленными координатами; крест, образованный осями.
Да, нет, нет, да, да, да..Если Ах = 0, Ау — 0, то А (сх+ dy) = 0. Если 6^0, то решения не содержат точку х = 0 и не могут образовывать подпространство.Да, нет, нет, да, да, да..Если Ах = 0, Ау — 0, то А (сх+ dy) = 0. Если 6^0, то решения не содержат точку х = 0 и не могут образовывать подпространство.2.2.1.2.2.2.2.2.3.2.2.1.2.2.2.2.2.3.'1 11Г-10 0J + [ 0 х+у+г=1,'1 11Г-10 0J + [ 0 х+у+г=1,0'10'1"0 Г0 1"0 Г0 1— не ступенчатая форма.— не ступенчатая форма.LU =LU =1010010010х+ у+ г = 0.х+ у+ г = 0.ОТ Г1 2 0 Г00 1101J [о о о 0.ОТ Г1 2 0 Г00 1101J [о о о 0.Первые два столбца матрицы U имеют ведущие элементы, так что г =2. Две другие переменные, w и у, являются свободными, и общее решение записывается в видеПервые два столбца матрицы U имеют ведущие элементы, так что г =2. Две другие переменные, w и у, являются свободными, и общее решение записывается в виде
Да, нет, нет, да, да, да..
Если Ах = 0, Ау — 0, то А (сх+ dy) = 0. Если 6^0, то решения не содержат точку х = 0 и не могут образовывать подпространство.
Да, нет, нет, да, да, да..
Если Ах = 0, Ау — 0, то А (сх+ dy) = 0. Если 6^0, то решения не содержат точку х = 0 и не могут образовывать подпространство.
2.2.1.
2.2.2.
2.2.3.
2.2.1.
2.2.2.
2.2.3.
'1 11Г-1
0 0J + [ 0 х+у+г=1,
'1 11Г-1
0 0J + [ 0 х+у+г=1,
0'
1
0'
1
"0 Г
0 1
"0 Г
0 1
— не ступенчатая форма.
— не ступенчатая форма.
LU =
LU =
1
0
1
0
0
1
0
0
1
0
х+ у+ г = 0.
х+ у+ г = 0.
ОТ Г1 2 0 Г
00 110
1J [о о о 0.
ОТ Г1 2 0 Г
00 110
1J [о о о 0.
Первые два столбца матрицы U имеют ведущие элементы, так что г =2. Две другие переменные, w и у, являются свободными, и общее решение записывается в виде
Первые два столбца матрицы U имеют ведущие элементы, так что г =2. Две другие переменные, w и у, являются свободными, и общее решение записывается в виде
Вторая переменная является базисной (ведущий элемент не равен нулю), а переменные и, w и у являются свободными. Ранг равен единице, и общее решение имеет вид х = (и, —4ш, ш, у)7. При 6^0 система является совместной только в случае 62— 2&1 = 0, и тогда
Переменная и является базисной, а и — свободной, г = 1, х = о [^ [J • В общем случае должно быть 61 = 0, 63 = 462, bt = 0, так что х = и£ j] +
Процесс исключения дает и + 2и+2ш= 1, ш = 2, так что переменная и является свободной:
и
и
W
=
~—2о — 3
V
2
= V
2~
1
0
4-
з" 0 2_
Из третьего уравнения имеем условие 0=63— 26t— 362; Ранг равен Двум.
с=7.
Ух—о24-о3 —ц4 = 0.
Строки являются независимыми.
ЕСЛИ С; (о4 Д- V2) 4~ ^2 (^1 4” ^з) 4" ^3 (Уа4" Уз) = ^’ ТО (^14*^2) ^t 4* 4~ (ci+сз) у2 4" (с2 4" сз) Уз=0. В силу независимости у отсюда получаем сг 4-
+ с2 = 0, с14-с3 = 0, с2 + с3 = 0, так что все коэффициенты с равны нулю. Следовательно, ш также являются независимыми.
Пространство столбцов порождено вектором £ $J 5 пространство строк также представляет собой прямую, но оно порождается вектором (1, 2).
Столбцы 2 и 3 образуют базис в пространстве столбцов; последний
столбец равен 7 (столбец 2) — (столбец 3). Строки пространстве строк.
и 2 образуют базис в
2.3.7. Один из базисов имеет вид
"1 О"О О
'О
О
;]
'О
1
О'
о
"О О'
О 1
Ступенчатые матрицы порождают подпространство треугольных матриц.
2.3.8. П1 =
1
И
о2 =
""0 " 0
, или
'1" 1
и
'О’ 0
0
1
1
1
Пусть ^ = (1, 0, 0, 0),..., у4 = (0, 0, 0, 1) являются координатными векторами. Если прямая U7 порождена вектором (1, 2, 3, 4), то ни один из векторов и не принадлежит этой прямой.
Нулевая размерность при x = y = z = 0; единичная размерность при х=(1, 0, 0) =—у, 2 = 0; размерность два при х = (1, 0, 0), у = (0, 1, 0), z = (—1, —1, 0); поскольку векторы зависимы, они не могут образовать базис всего пространства.
(1) Если бы эти векторы не образовывали базис, то мы могли бы добавить независимые векторы, увеличив тем самым заданную размерность к, что приводит к противоречию, (ii) Если бы эти векторы не образовывали базис, то мы могли бы убрать некоторые из них, уменьшив тем самым размерность к, что приводит к противоречию.
Размерность равняется 6.
Если векторы vlt и2> уз образуют базис пространства V, а векторы Ши w2, к>з образуют базис пространства W, то эти шесть векторов не могут быть независимыми и некоторая их линейная комбинация дает нуль:
? с,'У, + V diW, = 0, т. е. У с;^- = —^diW;—вектор, принадлежащий обоим
подпространствам.
Неверно; размерности совпадают.
Второй столбец является базисом пространства 9i (Л), а первый столбец — базисом для 91 (ЛТ). Вектор (—2, 1)т порождает левое нуль-пространство, а векторы (1, 0, 0, 0)Т, (0, —4, 1, 0)Т, (0, 0, 0, 1)Т образуют базис пространства 91 (А).
Первый и второй столбцы образуют базис пространства 91 (Л), а первая и вторая строки — базис пространства 91 (Лт). Вектор (1, 0,—1)Т порождает левое нуль-пространство, а векторы (—1, 0, 0, 1)Т, (2, —1, 1, 0)Т являются базисом пространства 9( (Л).
В пространстве столбцов все четвертые компоненты равняются нулю, а в пространстве строк равны нулю все первые компоненты. Нуль-пространство порождено вектором (1, 0, 0, 0)Т, а левое нуль-пространство — вектором (0, 0, 0, 1)Т.
Если АВ=0, то матрица Л переводит каждый из столбцов матрицы В в нуль; следовательно, то же самое она делает и с любой комбинацией столбцов, и все эти комбинации должны лежать в пространстве 91 (Л).
Если размерность не увеличивается при добавлении столбца Ь, то вектор b должен быть комбинацией столбцов матрицы А, так что система Ах=Ь будет разрешима.
2.4.7. d= bc/a;2.4.7. d= bc/a;[1 b/aV[1 b/aV
2.4.7. d= bc/a;
2.4.7. d= bc/a;
[1 b/aV
[1 b/aV
—4 — 8"
—8 —16
L°JL°J00
L°J
L°J
Отображение y = ex является взаимно однозначным, но никогда не принимает нулевое значение; функция z=tgx принимает все значения, но более чем по одному разу.
Если условие существования решения для матрицы Л выполняется, то г — т и т столбцов матрицы ^Т должны быть независимыми. Если для матрицы Л выполняется условие единственности, то г=п и столбцы матрицы Лт должны образовывать базис всего пространства R".
Матрица Л не имеет левой обратной; все правые обратные имеют вид
JJ x|j2 = 21, )]р|р = 18, хТу = 0.
Векторы (1,0) и (1, 1) независимы, но не являются ортогональными; векторы (0,0) и (1, 1) ортогональны, но не являются независимыми.
Если (х2/хх) (y2/yi) = —L т0 х2у1 = — x^yv или x^i + х2у2 = 0.
Если i ^ /, то элемент с индексами i, j матрицы ВВ~1=1 равен нулю.
и? v3 = 0, и] у3 = 0.
Любой вектор, кратный решению (1, 1,—2) системы u + n+oi=0, и — у = 0, ортогонален к двум заданным векторам. Орто нормированная система имеет вид (1, 1, l)/^ (1, -1, 0)/ /^ (1, 1, -2)//б?
ш2 = (0, 0, 0, 1); и3 = ф, 0, 5,-4).
Любой вектор из V П W должен быть ортогонален самому себе.
Решая систему и4-у4-2ш = 0, u-j-2v-p3w=0, получаем, что ортогональным дополнением является пространство, порожденное вектором (1, 1, -1).
Система имеет вид х + у— z = 0.
Выбрать в качестве у компоненту вектора Ь, лежащую в левом нуль-пространстве.
Вектор (2, 2, —1) является базисом нуль-пространства; (3, 3, 3) = = (1, L 4) + (2, 2, —1) = хг-(-хп.
Вектор х ортогонален к V -]- W тогда и только тогда, когда он ортогонален к каждому вектору из 7 и 17; он принадлежит пересечению пространств И± и IF1.
Падение напряжения равняется 5 между 2 и 3, между 3 и 1, между 4 и 1 и между 2 и 5. Между 3 и 4 нет падения напряжения, поскольку р3 = р4 = 5. Между 1 и 2 скачок напряжения равен 10, так что р2=10.
Ток от 1 к 3 равен / = 3; половина тока возвращается через 2, другая половина — через 4, а от 2 к 4 ток не течет.
Пересечение V П W равно пространству двухдиагональных матриц, имеющих нулевые элементы всюду, кроме главной диагонали и первой поддиагонали; размерность равна 7. ЁД-IE равно совокупности матриц с нулевыми элементами ниже первой поддиагонали; размерность равна 13. Исходные размерности равны dim V= 10 и dim IE = 10.
Если х = и + ш и х = п' + ы>', то v + tti=t>'-f-K|', или о—и'=w'—w. Последний вектор принадлежит как Е, так и 1Е и должен равняться нулю.
Одна из возможностей: пространство W порождается векторами (1, 0, 0, 0) и (0, 0, 1, 0). Все четыре вектора образуют независимую систему.
Векторы vlt v2 я ыч образуют базис пространства V + IE; пространство V П № является одномерным, и оно порождается векторами ог — и2(=иа1—t»2).
АВ =АВ ='1 0"0 0'1 0"0 02.6.7. Пусть А = [0 0],2.6.7. Пусть А = [0 0],В =В ="0"0"0"0ДВ = [0], v (ДВ) = 1 < v(Д) = 2.ДВ = [0], v (ДВ) = 1 < v(Д) = 2.0} = LU.0} = LU.2.6.8. А = Г1 01 ГО 12.6.8. А = Г1 01 ГО 101 = Г1 1 [0 1 401 = Г1 1 [0 1 42 12 10 00 000224040
АВ =
АВ =
'1 0"
0 0
'1 0"
0 0
2.6.7. Пусть А = [0 0],
2.6.7. Пусть А = [0 0],
В =
В =
"0"0
"0"0
ДВ = [0], v (ДВ) = 1 < v(Д) = 2.
ДВ = [0], v (ДВ) = 1 < v(Д) = 2.
0} = LU.
0} = LU.
2.6.8. А = Г1 01 ГО 1
2.6.8. А = Г1 01 ГО 1
01 = Г1 1 [0 1 4
01 = Г1 1 [0 1 4
2 1
2 1
0 0
0 0
0
0
2
2
4
0
4
0
Ранг равен единице; любая подматрица этого размера обратима.
ранг (ДВ) «5 ранг (В) ^ п < т, но матрица АВ имеет размер тХт.
Если векторы о1( . . ., огобразуют базис в пространстве столбцов матрицы А, а векторы ai!, . . ., ws образуют базис в пространстве столбцов матрицы В, то любой столбец матрицы А + В является линейной комбинацией векторов сит; они порождают пространство столбцов матрицы А-^-В, так что его размерность не может превышать г Д-s.Если векторы о1( . . ., огобразуют базис в пространстве столбцов матрицы А, а векторы ai!, . . ., ws образуют базис в пространстве столбцов матрицы В, то любой столбец матрицы А + В является линейной комбинацией векторов сит; они порождают пространство столбцов матрицы А-^-В, так что его размерность не может превышать г Д-s.Пусть вектор у принадлежит пространству 91 (В) П 91 (Д), так чтоПусть вектор у принадлежит пространству 91 (В) П 91 (Д), так чтои = Bx для некоторого x и Ay = 0. Тогда ABx = 0, так что вектор х лежит ви = Bx для некоторого x и Ay = 0. Тогда ABx = 0, так что вектор х лежит впространстве 91 (ДВ). Но оно совпадаете 91 (В), так что Вх = 0. Следователь- 91 (В) П 91 (Д) является у = Вх = 0.пространстве 91 (ДВ). Но оно совпадаете 91 (В), так что Вх = 0. Следователь- 91 (В) П 91 (Д) является у = Вх = 0.но, единственным вектором из(1) Любая . матрицано, единственным вектором из(1) Любая . матрицаВ =В =0 О' с d0 О' с dдаетдаетАВ = 0,АВ = 0,так что нуль-прост-так что нуль-прост-ранство является двумерным.ранство является двумерным.(ii) Если В= °(ii) Если В= °Ь" d ’Ь" d ’тотоАВ =АВ =' a b" _2a 2b ’' a b" _2a 2b ’чточто
Если векторы о1( . . ., огобразуют базис в пространстве столбцов матрицы А, а векторы ai!, . . ., ws образуют базис в пространстве столбцов матрицы В, то любой столбец матрицы А + В является линейной комбинацией векторов сит; они порождают пространство столбцов матрицы А-^-В, так что его размерность не может превышать г Д-s.
Если векторы о1( . . ., огобразуют базис в пространстве столбцов матрицы А, а векторы ai!, . . ., ws образуют базис в пространстве столбцов матрицы В, то любой столбец матрицы А + В является линейной комбинацией векторов сит; они порождают пространство столбцов матрицы А-^-В, так что его размерность не может превышать г Д-s.
Пусть вектор у принадлежит пространству 91 (В) П 91 (Д), так что
Пусть вектор у принадлежит пространству 91 (В) П 91 (Д), так что
и = Bx для некоторого x и Ay = 0. Тогда ABx = 0, так что вектор х лежит в
и = Bx для некоторого x и Ay = 0. Тогда ABx = 0, так что вектор х лежит в
пространстве 91 (ДВ). Но оно совпадаете 91 (В), так что Вх = 0. Следователь- 91 (В) П 91 (Д) является у = Вх = 0.
пространстве 91 (ДВ). Но оно совпадаете 91 (В), так что Вх = 0. Следователь- 91 (В) П 91 (Д) является у = Вх = 0.
но, единственным вектором из
(1) Любая . матрица
но, единственным вектором из
(1) Любая . матрица
В =
В =
0 О' с d
0 О' с d
дает
дает
АВ = 0,
АВ = 0,
так что нуль-прост-
так что нуль-прост-
ранство является двумерным.
ранство является двумерным.
(ii) Если В= °
(ii) Если В= °
Ь" d ’
Ь" d ’
то
то
АВ =
АВ =
' a b" _2a 2b ’
' a b" _2a 2b ’
что
что
является двумерным подпространством.
ии/ 111 \\ 22 ’2 J3.2.1. 7=151./ 111 \\ 22 ’2 J3.2.1. 7=151., так что соз9 = отш/||у|||| и>|| =, так что соз9 = отш/||у|||| и>|| =3 ‘3 ‘
и
и
/ 111 \
\ 22 ’2 J
3.2.1. 7=151.
/ 111 \
\ 22 ’2 J
3.2.1. 7=151.
, так что соз9 = отш/||у|||| и>|| =
, так что соз9 = отш/||у|||| и>|| =
3 ‘
3 ‘
Глава 3
(a) a1 b = 2 |/хй <М Ш = хА-у. (b) || х + ^||2< (|| ^] + ||у |j)3 это то же самое, что хгх+2хту + уту<. хтх + 21] х || Ц уЦ + у^у, что представляет собой неравенство Шварца хТу^ JJ x |] Hi/j.
Op2 = (ат6/аТо)2 аТс; добавляя это к уравнению (5), получаем bxb, т. е. квадрат гипотенузы.
т т 10т т
р = (о Ь)а а) “ = — (1, 1, 1); другая проекция есть (6 а(Ь 6) Ь.
Оно является равенством в обоих случаях; угол равен 0 или л, косинус равен 1 или —1, так что ошибка Ьр равняется нулю, поскольку вектор b совпадает со своей проекцией р.
9 есть угол, косинус которого равен l/V'n.
Для каждого / |О/Г2-Ц6/|2— 2 | aj 11 bj | равняется (, dj | — | bj |)2 и не может быть отрицательным.
Транспонированная к матрице Д-1 равняется, как было показано, (Дт)-1, что совпадает с Д-1 при Д = ДТ.
Д=^ У = ДТ, в-[*у=ВТ, ДВ=[У °] /(Дб)Т.
Пусть матрица Д имеет больше строк, чем столбцов, например
\2 ’2 ’2\2 ’2 ’2Лучи к вершинам образуются векторами и =
\2 ’2 ’2
\2 ’2 ’2
х = 2.
и = о = 1; х = 3.
£2 = (и—1)2+(ц —3)2+(u+o —4)2; dE2/du = 2 (и —1)4-2 (« + и — 4), dE2/dv = 2 (v—3)-|-2(u + y — 4), и = 1, у = 3; р = А ^ j=6, поскольку вектор b сам лежит в пространстве столбцов.'
.(а) (/ — РУ = 1 — 2Р-^Р2 = 1 — Р; (/ — Р)Т = / — рт = i — P.
(b) (P^P^ = PUPMP2Pi+Pl = PvVP^ (.Р1А-Р^=Р1 + + ?£ = ? 1 + ^2-
(2Р —/)2 = 4Р2—4Р+/ = /.
Р2 = иитиит =иит =Р, поскольку ити = 1; матрица иит является симметрической.
2 9 Р — Г 0 ®1 ■ тогда Р Г Х 1Г ^ 1
J , тогда Р j.
Ч 19
Н. ^-iQ-^t
21.О21.О—3L—5_—3L—5_П —1
21.
О
21.
О
—3
L—5_
—3
L—5_
1 О
1 1
_12
Г1 —2*
1 -1
1 1
U 2JL Oj
с=2С, d=V4OD; у = — 2-Н является оптимальным и действительно проходит через все четыре точки; £2 = 0 и Ь — р, поскольку b принадлежит пространству столбцов.
Отдельными проекциями Являются 2а, и 2а2; р = 2а14~2аг.
Эта проекция равна —а3; сумма 2а! + 2а2— а3 = (0, 3, 0) совпадает с вектором Ь; оператор проектирования на все пространство является тожде
ственным.
(Q1Q2) (Q1Q2) — Qa Qi QiQi = Qa IQi = 1
QTQ = (/ — 2uuT) (/— 2аит) = /— 4tzuT + 4ыытаыт =/, поскольку 0s и — 1.
Третий столбец есть ± (1, —2, 1)/)/" 6.
||о |Р = (xj?i+ • • • + хпЯп)^ (^l?! + • • • + хпЯп) —
= хлЯхЯл+ • • • +хпЯпЯп" ^i■ • ■ 4~хп-
3.3.8.3.3.9.3.3.8.3.3.9.Матрица Q является ортогональной.
3.3.8.
3.3.9.
3.3.8.
3.3.9.
Ял—а\1 Яг = а2— °i> Яз = аз— а2>
д =д ="0о1"0о1О11О11Г11Г11"0о"0ооооого ого о"1 о о"1 о ооо1 = QR.11 = QR.13.3.12. x=R"^b =3.3.12. x=R"^b =•5/ 9 .о•5/ 9 .о
д =
д =
"0о
1
"0о
1
О
1
1
О
1
1
Г
1
1
Г
1
1
"0
о
"0
о
о
о
о
о
г
о о
г
о о
"1 о о
"1 о о
о
о
1 = QR.
1
1 = QR.
1
3.3.12. x=R"^b =
3.3.12. x=R"^b =
•5/ 9 .
о
•5/ 9 .
о
Пространства столбцов матриц Q и А совпадают, так что Р =
= Q№QV1Qt=QQt.
/тчт
/V1C\игст _
Og=( С=— О, )=—О2> поскольку 02^1=0."
\У1У1/Уа У 2
M2=-^+-L+... = l, lex^ = ^dx = ^-lW2, ^exe-xdx=v.
6t= ^ у sin xj\ sin2 x; если y = cosx, то коэффициент Фурье bi равен нулю.
«0=1, «1=0, b-t = 2la.
3.3.18.3.3.18.Функция X3Функция X3уже ортогональна четным функциям 1 их2 —уже ортогональна четным функциям 1 их2 —3 *3 *-1-1225 ’5 ’так что следующий многочлен Лежандра имеет вид х3—=-так что следующий многочлен Лежандра имеет вид х3—=-
3.3.18.
3.3.18.
Функция X3
Функция X3
уже ортогональна четным функциям 1 их2 —
уже ортогональна четным функциям 1 их2 —
3 *
3 *
-1
-1
2
2
5 ’
5 ’
так что следующий многочлен Лежандра имеет вид х3—=-
так что следующий многочлен Лежандра имеет вид х3—=-
Горизонтальная прямая //=1/3.
Если Л = 0, то пространство строк есть 0, х = 0 и Л+=0.
Л = Г 1 1 [1 1 1] = L1/;
L1J
х = Л + 6 = 16х = Л + 6 = 16Г I 1Г I 11111
х = Л + 6 = 1
6
х = Л + 6 = 1
6
Г I 1
Г I 1
1
1
1
1
4.2.1.4.2.2.4.2.3.4.2.4.= — det А4.2.5.4.2.7.4.3.1.4.3.4.4.2.1.4.2.2.4.2.3.4.2.4.= — det А4.2.5.4.2.7.4.3.1.4.3.4.
4.2.1.
4.2.2.
4.2.3.
4.2.4.
= — det А
4.2.5.
4.2.7.
4.3.1.
4.3.4.
4.2.1.
4.2.2.
4.2.3.
4.2.4.
= — det А
4.2.5.
4.2.7.
4.3.1.
4.3.4.
Л + =ЛТ, поскольку решением системы Ах = Ь по методу наименьших квадратов является вектор х = А^Ь.
« = у = -^-.
17
Из (59) имеем Х(у= (4&i +62)/(4+1) =-g-.
Вектор с является й7-перпендикулярным к Ь, если (ci, с^) WTWb=0, или 4^4-62 = 0; || b Ц^=|| l^6|| =5.
xw = -^, обратное к изображенному на рис. 3.9.
Любая ортогональная матрица.
Глава 4
det 2Л = 2" det A; det (—Л) = (—l)"det4; det Л2 = (det Л)2.
Правила (5) и (1) влекут за собой (2).
det Л = 20, det Л =5.
Зе1Лт = 6е1Л, det (—Л) = (—l)3det Л, следовательно, det Л или det Л = 0.
(а) 0; (Ь) 16; (с) 16; (d) ^; (е) 16.
det С/1 dety = l, или (det Q)2=l; единичный куб.
Столбцы 2, 1, 4, 3; перестановка четная, так чго | Л| = 1,
| Л4| = —3, |Л3| = 2, |Л2| = -1, | Л„| = (-!)"(!-«).
4.3.5.
|Л | = 20,
Л-1=В/20.
4.4.1.
"1
X-!= О О
—1 О'1 —1
О 1
х=3, у =—1, z =—2.
J = r2cos<p (ф = О есть экватор!).
Треугольник А' В'С' имеет такую же площадь, как и АВС, он просто сдвинут в начало координат.
Каждая из трех строк увеличивается в три раза.
Ведущие элементы равны 2,, —; нет, матрица А вырожденная.
26
Начиная сп = 2, перестановки являются нечетной, нечетной, четной, четной, нечетной, нечетной и т. д. Задача для «+ * подобна задаче для п, за исключением того, что число п-\-1 необходимо будет передвинуть из одного конца в другой, для чего требуется п дополнительных перестановок. Поэтому четность сохраняется, когда п четное, и изменяется при нечетном п.
Четное.
Зависимы, поскольку составленный из них определитель равен нулю.
Глава 5
5.1.1. Х = 2, Х = 3, след равен 5, определитель равен 6.5.1.1. Х = 2, Х = 3, след равен 5, определитель равен 6.5.1.3. Х = —5, Х = —4; оба уменьшаются на 7 при неизменных собствен'5.1.3. Х = —5, Х = —4; оба уменьшаются на 7 при неизменных собствен'
5.1.1. Х = 2, Х = 3, след равен 5, определитель равен 6.
5.1.1. Х = 2, Х = 3, след равен 5, определитель равен 6.
5.1.3. Х = —5, Х = —4; оба уменьшаются на 7 при неизменных собствен'
5.1.3. Х = —5, Х = —4; оба уменьшаются на 7 при неизменных собствен'
5.1.11. det (А—Л/) = det (Ат —Х7).5.1.11. det (А—Л/) = det (Ат —Х7).
5.1.11. det (А—Л/) = det (Ат —Х7).
5.1.11. det (А—Л/) = det (Ат —Х7).
Г 2 1 ГП
Xi = 5, Х2 = —5,, х2 =•
Xi = 2, Х2 = 0, Х3 = —2.
Столбцы матрицы S суть xn х2, х3; S“MS = diag(0, 1, 3).
7 = 0, 0, 3; третий столбец матрицы S является кратным вектору
1 , а другие столбцы ортогональны к нему.
_ 1 J
STАт (S-1)T = ЛТ, так что (S-1)T является матрицей собственных векторов для Ат.
AB = SA1S-iSA2S-i = SA^S - > = SA2AtS ~ 1 = SA2S ~ »SAjS " - = = BA, B = P1 .
LP «J
। Р -1 о -
R= (вращение на 45°) = —-— 110.
' LO 0 УЧА
Матрица ^_* _J j имеет только один собственный вектор.
5.3.1. ..-[»], а-^. a-^h. W+Л
Fk + i/Fk —► V
5.3.2.
"Gk*iGk+i.
'2
2
. 1
2"
2 0
Gk J ’
Xj = 1,
X2
2
2 1
Gk*i Gk .
= SA*S-1
2
2
"Gy
Go.
5.3.3.
"3000" 3000 .
3000
■3000* 3000 .
.3000.
"18 000"1500
. 1000
"6000" 9000 ,
. 500.
"3000" 3000 ,
.3000.
"18 000’ 1500 , 1000.
6000" 9000
. 500.
fl A
"2" 0 2" Бостон
5.3.4. A = 0
2 2
2 2
Лос-Анджелес,
£ 2
L2 2
0 Чикаго J
5.3.5. В стационарном состоянии все являются мертвыми: ^3, = !, s„=0, to«, = 0.
"1"
4
2
2
2
L 4_
о 1
612 —
2
4
собственные значения лежат на диагонали, и оба будут отрицательными при
23
612 < —,
Система неустойчива при | а | > -g- и устойчива при | а | < -g- .
Увеличение матрицы А означает рост производственных расходов, что приводит к замедлению темпов развития.
Г1 1 21Г1 1 21ГО О 11
Г1 1 21
Г1 1 21
5.3.10. А2 = ОООООО5.3.10. А2 = ООООООЛ3 = 0, (/ — Л)-1 = /+Л+ А2 = 0 1 1
5.3.10. А2 = ООО
ООО
5.3.10. А2 = ООО
ООО
.0 0 1
5.4.1.5.4.1.j] р"'j] р"'Г11122J1__2 - 2-Г11122J1__2 - 2-
5.4.1.
5.4.1.
j] р"'
j] р"'
Г111
22
J1_
_2 - 2-
Г111
22
J1_
_2 - 2-
1 Ге-^е-81 е-'—г-3П „
5.4.2. Собственные значения равны X —1,5.4.2. Собственные значения равны X —1,X = 3; п=2.[[]е<+X = 3; п=2.[[]е<+и (/) = Ct^ + c2x2e-8t;и (/) = Ct^ + c2x2e-8t;при t —- оо.при t —- оо.
5.4.2. Собственные значения равны X —1,
5.4.2. Собственные значения равны X —1,
X = 3; п=2.[[]е<+
X = 3; п=2.[[]е<+
и (/) = Ct^ + c2x2e-8t;
и (/) = Ct^ + c2x2e-8t;
при t —- оо.
при t —- оо.
Замена дает dv/dt — Av, v^e^^v^e^S-'ug, т. е. u = SeMS~xu6, как и ранее.
eMe^ = (s/AS-i)(sesAs_i)=Se(AesAs_i = S(,(Z + S)As_1=e(f+.sM
, . „ d ,.. dxt . dt/t , f dxV , т / dy\
Матрица А имеет мнимые собственные значения, так что система нейтрально устойчива.
Собственные значения матрицы А равны Х1 = Х2 =— 1, что дает убывание при /—> оо; собственные значения матрицы Лт + Л равны Хт = 1, Х2 =—5, так что при < = 0 может не быть немедленного убывания решения.
Система является неустойчивой.
5.4.10.
5.4.11.
5.4.12.
5.4.14.
и =
11
COS < +
Г
—2 1
sin V 3/
КЗ
и = ^ ^ * j cos V~6t + -^- £*j cos 2L
p2ep/x = — pFep<x+ Aeptx или (A—pF—p3/)x = 0.
"sin t0
0 (81п/3/)/У~з)
2
,2
sin ;+(sin yiO/Кз sin < —(sin K3t)/Vl.
Все числа лежат вне единичного круга.
Сумма вещественна; также лежит на единичной окружности; также
лежит на единичной окружности; лежит внутри или дихса два.
5.5.4. [j х || = 6 = || у ||, xHz/ = —12.
на границе круга ра-
О
о
1
(ЛНЛ)Н = АНлнн = лнд.
5.5.6.
тору
2
1о
о
1
С = СН, поскольку
1
i О1
О 1
= U; Ах = О,
если
х является кратным век-
этот вектор ортогонален к столбцам матрицы Ан (но не к столб-
цам матрицы
Ат, т. е. строкам матрицы А).
5.5.7.
х
x»Ax=i.
5.5.8.
Xt=l, Х2 =—1, %] =
х2 =
А = х,х» — x^F; про-
изведение
(свойство 3).
хрх2 равно
нулю, поскольку собственные векторы ортогональны
~1/К з
5.5.9. U= 1/Кз
О
-1/К2
1/^6"
-2/ Кб1/ Кб.
, А=0 +
4°
о
2_
2
0
О
2/
2
О
1
2.
~ 2.6__2” 61_ 6
_ 2,
6
4
6
6
J_~l 6
_ 2,
6
6 J
произведению собственных значений.
5.5.10. Определитель равен не является собственным значением, поскольку она ве-
5.5.12. Единица щественна.
5.5.13. К=
О
—1
хнКх = 0 (оно должно быть мнимым
в силу Г и вещественным, поскольку К и х вещественны; следовательно, оно равняется нулю).
5.5.14. K=(Z—ZH)/2=-KH; Z=AA-K,
"34-/ 44-2/
О 5
3 2-;-/’
2 —Z 5
J О
(l/V)H (1/У) = унуну^ = ун/у = /.
Определитель равен произведению собственных значений, и модуль произведения X] ... Х„ есть | X, | ... | Х„ | = 1; матрица первого порядка имеет вид U = [/];
,/е
для произвольных углов 6 И 1р.
5.5.17. Последний столбец равен (1, —2, 1)/}^ 6, умноженному на число (вещественное или комплексное), по модулю равное единице.
любое
5.5.18. Л =
О 21
5 =
1
—1
, eKt = SeMS-i =
2
' 14-е2'* —1 + е2/г
—14-е2^14-е2<*_
deKt i i dti I
=K.
Диагональ матрицы А состоит из чисел 4~1 или —1; имеется восемь возможностей.
С = (М')-1ВМ' =(M')-iM-1AMM' или С = (МЛ1')-1А (AW). Единственная матрица, подобная /, есть РЛ~ЧМ = 1.
Элемент в позиции (3, 1) имеет вид gcos0 + Asin0 и равен нулю при tgO = — g/h.
Положить М равной А. Тогда M~l (АВ) М = ВА подобна матрице АВ. Если собственные значения совпадают, то будут совпадать также их суммы, т. е. след. Если АВ и В А имеют одинаковый след, то матрица АВ— В А имеет нулевой след и не может равняться 1.
Лх = —1 с собственным вектором (1, l)1/)^ 2 единичной длины; он образует первый столбец матрицы и. а второй столбец (—1, 1)Т/У^2 делает U унитарной; тогда Т = U-VAU = £ q 2J • Возможны и другие матрицы Т, имеющие элемент 7 вместо —7 и (или) с переставленными местами элемента-
ми 2 и —1.
„ ГО ±21
5.6.5. Т =.
- 0 * ФИГ* * #1 г# * ф ~
5.6.6. р (Т) = 0 * *0 0*0 * * =0, так чтоР(Д)=0
.0 о *Ло 0 Ло 0 0.
’ 1/^2
i/Кб
1/^Т
5.6.7. U =
0
-2 //6
1//~3
х/Уб
1/ Кз.
первые два столбца могут иметь вид хг = (1,—1, 0)т/)/"2, х2 = (1, 1, —2)т/)/~6 (имеется много других возможностей); всегда
4- X2Х2 — 1 — Х3Х3 — -g-4- X2Х2 — 1 — Х3Х3 — -g-- 2— 1.-1- 2— 1.-1-1 — 12 —1-12.-1 — 12 —1-12.
4- X2Х2 — 1 — Х3Х3 — -g-
4- X2Х2 — 1 — Х3Х3 — -g-
- 2
— 1
.-1
- 2
— 1
.-1
-1 — 1
2 —1
-12.
-1 — 1
2 —1
-12.
(i) ТТН= U-iAUL/^AH (U-1)И = 2; (ii) если матрица Т является треугольной и унитарной, то ее диагональные элементы (собственные значения) по модулю должны равняться единице. Тогда, если столбцы должны быть
единичными векторами, все внедиагональные элементы должны равняться нулю.
Д= 1 ‘ ."
Если N=UAl)-\ то NNti = 2UMJ-^) (ихи-^=их№и^ = = UAHAUH = (UAU-i)H(UAU-^) = №N.
BM = MJ2 выполняется при т.11 = тзг, тг1 = т31 = т3з — 0.
M~1J32H = 0, так что последние два неравенства очевидны; МЗг = = J^M означает равенство нулю первого столбца матрицы М, так что она не может быть обратимой.
Jt равна клетке размера 4X4; /2 состоит из клеток размера 3x3 и 1X1; 73—из клеток размера 2x2 и 2X2; J4 — из клеток размера 2x2, 1x1 и 1X1; У6 состоит из четырех одномерных клеток, равных 0. Матрицы }2 и J3 имеют по два собственных вектора.
Глава 6
6.1.1.6.1.2.6.1.1.6.1.2.ас— Ь2 = 2—4 = — 2; Г=(У 2х+ У 2у)2—у2.Нет, нет, нет, да (неопределенная, положительно полуопределенная,ас— Ь2 = 2—4 = — 2; Г=(У 2х+ У 2у)2—у2.Нет, нет, нет, да (неопределенная, положительно полуопределенная,неопределенная, положительно определенная).6.1.4. Матрицы вторых производных имеют виднеопределенная, положительно определенная).6.1.4. Матрицы вторых производных имеют вид4 -5“—5 124 -5“—5 12(минимум),(минимум),— 2 0'0 —1— 2 0'0 —1(максимум).(максимум).
6.1.1.
6.1.2.
6.1.1.
6.1.2.
ас— Ь2 = 2—4 = — 2; Г=(У 2х+ У 2у)2—у2.
Нет, нет, нет, да (неопределенная, положительно полуопределенная,
ас— Ь2 = 2—4 = — 2; Г=(У 2х+ У 2у)2—у2.
Нет, нет, нет, да (неопределенная, положительно полуопределенная,
неопределенная, положительно определенная).
6.1.4. Матрицы вторых производных имеют вид
неопределенная, положительно определенная).
6.1.4. Матрицы вторых производных имеют вид
4 -5“
—5 12
4 -5“
—5 12
(минимум),
(минимум),
— 2 0'
0 —1
— 2 0'
0 —1
(максимум).
(максимум).
Полуопределенная, полуопределенная, положительно определенная: хт Sx = (u+K,)2+y2-'
det А = 1 + 2а2Р— р2— 2а2 < 0, если а — —р =—2/3.
Если матрица А имеет положительные собственные значения X,, то собственные значения матрицы А2 равны X2, а собственные значения матрицы А-1 равны 1/Х,- и они также положительны; воспользоваться условием II.
Если хтЛх > 0 и хтВх > 0, то хт(Л-±5) х > 0; условие I.
212121211//21//21 1
21
21
2
1
2
1
1/^2 —1/^1 ] -
так чтотак чтоW=V DLA =W=V DLA =/~2 —1/ )< 2/~2 —1/ )< 20 У 3/У 20 У 3/У 2илиилиг = /А<2Т =г = /А<2Т =1//21//21// 21// 2У 3//~2 — У"3(У 2.У 3//~2 — У"3(У 2.R=^R=^I + У з 1 — У з"I + У з 1 — У з"1 — У з 1 + У"з1 — У з 1 + У"зR1 = Q (УА)Т QT = R,R1 = Q (УА)Т QT = R,R 2 = QyAQ^QyAQ^ =QAQ^ =А (поскольку QTQ = /).хнАх=хн (а4- гр) х, и если вещественная часть левого произведения положительна, то будет положительна и вещественная часть хнах; следовательно, а> о.Сдругойстороны.матрицаЛ =|^q ^ имеет положительные собственные значения, но матрица Лн-]-Л не является положительно определенной.Матрица А является отрицательно определенной, если хт Лх < 0 для всех ненулевых векторов х; все X/ < 0; знаки определителей матриц Лд чередуются (а не det Лд < 0!); отрицательные ведущие элементы; А= — W'TW'.Х1=1, Х2 = 4, полуоси проходят через (±1, 0) и (0, ±1/2).с собственными значениями 1 и 4.R 2 = QyAQ^QyAQ^ =QAQ^ =А (поскольку QTQ = /).хнАх=хн (а4- гр) х, и если вещественная часть левого произведения положительна, то будет положительна и вещественная часть хнах; следовательно, а> о.Сдругойстороны.матрицаЛ =|^q ^ имеет положительные собственные значения, но матрица Лн-]-Л не является положительно определенной.Матрица А является отрицательно определенной, если хт Лх < 0 для всех ненулевых векторов х; все X/ < 0; знаки определителей матриц Лд чередуются (а не det Лд < 0!); отрицательные ведущие элементы; А= — W'TW'.Х1=1, Х2 = 4, полуоси проходят через (±1, 0) и (0, ±1/2).с собственными значениями 1 и 4.А =А =22
так что
так что
W=V DLA =
W=V DLA =
/~2 —1/ )< 2
/~2 —1/ )< 2
0 У 3/У 2
0 У 3/У 2
или
или
г = /А<2Т =
г = /А<2Т =
1//2
1//2
1// 2
1// 2
У 3//~2 — У"3(У 2.
У 3//~2 — У"3(У 2.
R=^
R=^
I + У з 1 — У з"
I + У з 1 — У з"
1 — У з 1 + У"з
1 — У з 1 + У"з
R1 = Q (УА)Т QT = R,
R1 = Q (УА)Т QT = R,
R 2 = QyAQ^QyAQ^ =QAQ^ =А (поскольку QTQ = /).
хнАх=хн (а4- гр) х, и если вещественная часть левого произведения положительна, то будет положительна и вещественная часть хнах; следовательно, а> о.Сдругойстороны.матрицаЛ =|^q ^ имеет положительные собственные значения, но матрица Лн-]-Л не является положительно определенной.
Матрица А является отрицательно определенной, если хт Лх < 0 для всех ненулевых векторов х; все X/ < 0; знаки определителей матриц Лд чередуются (а не det Лд < 0!); отрицательные ведущие элементы; А= — W'TW'.
Х1=1, Х2 = 4, полуоси проходят через (±1, 0) и (0, ±1/2).
с собственными значениями 1 и 4.
R 2 = QyAQ^QyAQ^ =QAQ^ =А (поскольку QTQ = /).
хнАх=хн (а4- гр) х, и если вещественная часть левого произведения положительна, то будет положительна и вещественная часть хнах; следовательно, а> о.Сдругойстороны.матрицаЛ =|^q ^ имеет положительные собственные значения, но матрица Лн-]-Л не является положительно определенной.
Матрица А является отрицательно определенной, если хт Лх < 0 для всех ненулевых векторов х; все X/ < 0; знаки определителей матриц Лд чередуются (а не det Лд < 0!); отрицательные ведущие элементы; А= — W'TW'.
Х1=1, Х2 = 4, полуоси проходят через (±1, 0) и (0, ±1/2).
с собственными значениями 1 и 4.
А =
А =
2
2
Одно нулевое собственное значение превращает эллипсоид в бесконечный цилиндр X1i/i4-X2</2= 1, параллельный третьей оси; два нулевых собственных значения дают две плоскости ух — ±1/угХ1; три нулевых собственных значения приводят к равенству 0 = 1 (рисунка не существует).
x^Ax =x^Ax =/"2V~2/1 V 3
x^Ax =
x^Ax =
22поверхность представляет собой цилиндр (см. упр. 6.2.12)." 4 —21поверхность представляет собой цилиндр (см. упр. 6.2.12)." 4 —216.3.3.6.3.3.Матрица СТЛС =Матрица СТЛС =—2 1—2 1имеет, как и сама А, положительноеимеет, как и сама А, положительноеи нулевоеи нулевоеГ2 —/ 0 собственные значения; С (/) =Г2 —/ 0 собственные значения; С (/) =Последний ведущий элемент матрицы А является отрицательным, но все ведущие элементы матрицы А-\-21 положительны.Последний ведущий элемент матрицы А является отрицательным, но все ведущие элементы матрицы А-\-21 положительны.[/З — 1 1] Г1 °] р + К 31 =0;[/З — 1 1] Г1 °] р + К 31 =0;«о = Г-1 ’«о = Г-1 ’110 20 2— 1— 1а1 = "2" ’а1 = "2" ’22\ V 9 лГ 9
2
2
поверхность представляет собой цилиндр (см. упр. 6.2.12)." 4 —21
поверхность представляет собой цилиндр (см. упр. 6.2.12)." 4 —21
6.3.3.
6.3.3.
Матрица СТЛС =
Матрица СТЛС =
—2 1
—2 1
имеет, как и сама А, положительное
имеет, как и сама А, положительное
и нулевое
и нулевое
Г2 —/ 0 собственные значения; С (/) =
Г2 —/ 0 собственные значения; С (/) =
Последний ведущий элемент матрицы А является отрицательным, но все ведущие элементы матрицы А-\-21 положительны.
Последний ведущий элемент матрицы А является отрицательным, но все ведущие элементы матрицы А-\-21 положительны.
[/З — 1 1] Г1 °] р + К 31 =0;
[/З — 1 1] Г1 °] р + К 31 =0;
«о = Г-1 ’
«о = Г-1 ’
1
1
0 2
0 2
— 1
— 1
а1 = "2" ’
а1 = "2" ’
а2 =—1/2; меньшая масса смещается до положения V 3, а большая масса никогда не выходит за пределы сцоего начального смещения 1.
6.3.6. Xi=54, Хо = ~£'>6.3.6. Xi=54, Хо = ~£'>_Г 11_ Г1121 — J .22 —_Г 11_ Г1121 — J .22 —
6.3.6. Xi=54, Хо = ~£'>
6.3.6. Xi=54, Хо = ~£'>
_Г 11_ Г11
21 — J .22 —
_Г 11_ Г11
21 — J .22 —
А = Г °], 5=Г° Ч, | А — ХВ | = — X2 — 1, Х = ± I.
-111 0I11
Р = xi — х1х2 + х2 — х2х3 + х1 — 4лу —4х3; дР /дх1 = 2х-1—х2 — 4, дР 1дх2 = — x! + 2x2— х3,
дР /дх3 =— х2+2х3 — 4.
dP-Jdx = %+у = 0, дРг/ду = х^-2у— 3 = 0, х = —3, у = 3. Р2 не
Г1
имеет минимума (пусть >-оо) и соответствует неопределенной матрице I .
Минимизация Q приводит к нормальным уравнениям AIAx = AIb.
Р (х) =аи, так что X, = min R (х) ^ аи; х = е; дает R (х) = ац ^ Хр
Минимальное значение есть R(x) = l с х = (1, 1).
Поскольку х^ Вх > 0 для всех ненулевых векторов х, число х1 (А4~В) х (у^кех больше, чем хт Ах.
Если (Л+5)х = 91л:, то Хх + цг= 811
Максимум равен 3/2.
Поскольку X, =Х2= L Мт должно равняться единице; футбол (регби).
Когда две строки и два столбца исключаются, Л1П1П < исходного Х3.
р.2 = 3, 2 < 3 < 2+ /"2.
Предельное подпространство Sy натянуто на первые / собственных векторов.
Максимум берется по подпространству Sy, ортогональному векторам z.
Положить х = (Д, 0, .... 0)т, тогда Xt < R (х) =ац/Ьи.
bj=h (площадь под К4 на рис. 6.6); система Ау = Ь принимает вид — yy-i + 21/y — yi + y — (х — /г)+(х — й)2 + 2х — 2х^ — (%4-/г)+(х+/1)2
h2й"
Р (у)—Р (6) =у у^у—у1 * + у 6Т » = у Ну— 6||2; минимизируяР (у)
на пробных функциях, мы одновременно минимизируем Р (у) — В (6), т. е. расстояние до b
Л] = 54/5 > Х! = л2.
Из принципа минимакса следует, что Х2 является минимальным значением для Хтах на всех двумерных подпространствах; Л2 увеличивает этот минимум, поскольку соответствующие двумерные подпространства должны лежать внутри пространства пробных функций.
Глава 7
Если матрица Q является ортогональной, то || Q || = max || Qx || /|| х || = = 1, так как Q сохраняет длины: || Qx || = || х || для каждого х. Матрица Q-x также является ортогональной, и ее норма равна единице, так что c(Q) = l.
Неравенство треугольника для векторов дает || Лх+ Вх || sS || Ах || + + || Вх ||, и, когда мы разделим на j|xl| и максимизируем каждый член, то получим. неравенство треугольника для матричных норм.
По определению нормы матрицы А имеем || АВх || ^ 1| А || || Вх ||, откуда !| Вх IK || В || || х||. Деля на || х[| и максимизируя, приходим к неравенству ||ЛВ||< С || А || || В ||. То же самое справедливо и для обратных матриц, ||В-1Л~11|< <|| В-1 ИЦ Д-1 :|. Перемножая эти неравенства, получаем с (АВ) <с (Л) с (В).
, 66 = X, =, 66 = X, =||Л~4)|=1, || А || = 3, с (Л) = 3; взять Ь=хг =
, 66 = X, =
, 66 = X, =
По определению нормы имеем || А Ц = шах || Ах ||/|| х ||; если выбрать в качестве х рассматриваемый собственный вектор, то || Ах 1| = | X 11| х || и отношение равно | X |.
^=P ^“1, X2—10002X4-1=0, Xmax=5001+(50012—I)1''2 .
Норма равняется квадратному корню из этой величины, и она совпадает с (| Л —1 [|.
Матрицы А^ А и ЛЛТ имеют одинаковые собственные значения (даже в том предельном случае, когда матрица А является вырожденной), и равенство максимальных собственных значений дает || А || = || Лт||.
Поскольку Л = ГТIF и Л-1 = IF-1 (Г7)-1, имеем || А || = || IF ||2 и | Л ~1 , = Д117 Г)_ 1 4 = |i IF"1 ।-. (Согласно предыдущему упражнению, транспонированная матрица имеет ту же самую норму.) Поэтому с (Л) = (с (IF))2.
7.2.9.
0.01 Г
10
~ 1 01100 1J
как с (L) и с (U) близки к 104.
0.011 I
_0—100J
с (А) близко к 1, в то время
7.2.10. Если х = ный случай, так что
Г
—1
, то
Ах =
и || Лх Ц^/Ц х Цоо =7;
это
предель-
Л||м=7.
7.3.1.
7.3.2.
26 а =— и
25
7.3.3. Нх = х—(х—у) —^-^—^—^—— х—(х—у) = у. Для доказательства (х—у)т (х—у)
равенства равенство
7.3.4.
Ну — х следует либо поменять местами х и у, либо рассмотреть Н (Их) —Ну и воспользоваться тем, что Нг = 1.
a = 5, v =
"8"
4
я=1Н -4
5
—4
3
Г1
7.3.5.
7.3.6.
1Г14
5 L—3
7.3.7.
U =
' 2
—1
—3"
6
О —
О
,35
o-A a
-Г
2
"cos 0sin 0
RQ =
0“
_4
5
3_
5
= U~1, U^AU^
i = Q»Ro = _/■
sin 0"0
= QR =
"cos 0
sin 0
"cos 0 (1 + sin2 6)— sin3 0
2
11
-5
-5
9
0'
12
О
Г5
' 25 25
25 25_
—41
3
^i— RoQo —
—sin 01 Г1
cos 0
— sin3 9"
— sin2 0 cos 0
О
cos 0 sin 0 "— sin20
Матрица А является ортогональной, так что Q = A, R = 1 и вновь RQ = A.
Пусть (Qo-.-Qk-i) (Rfe-i-• • Ro) "является (^-разложением матрицы Ak, что во всяком случае справедливо, когда к=\, По построению Дд+i = = RkQk> т- е. Rk = Ak+iQk = Qk.. • qJ^Qo-• -QkQk- Умножая справа на (Rk-1 -.-Ro) и пользуясь сделанным предположением, получаем R^.. .Ro = ~ Qj.. .QoAk+1. Перенося матрицы Q в левую часть, приходим к требуемому результату для матрицы Ак+1.
Ц~°’ ± У"2 1
собственные значения О, 0, -g-; <оопт = 4—2 V 2 с Хтах = 3—2 У 2 я 0.2.
Матрица J имеет числа 1/2 на диагонали, прилегающей к главной, и нули на всех остальных местах; JxY =-1- (sin 2лА, sin ЗлЛ-f-sin лй, . . .) = = (cos ЛЙ) Xj.
Jxft =—(sin 2Алй, sin3fen/i+sin Алй, ...) = (cos Алй) х*.
Окружность с центром в точке ац не может достигнуть нуля, если ее радиус г/ меньше, чем |а//|; следовательно, нуль не является собственным значением и матрица с диагональным преобладанием не может быть вырожденной.
1 I"1
3 3
J=— О
центры окружностей находятсяцентры окружностей находятся214
центры окружностей находятся
центры окружностей находятся
радиусы равны г,=—, г2 = —, л3 = ~,
в нуле, так что все | X/1 < 1.
Глава 81)
Углы находятся в точках (0, 6), (2, 2), (6, 0); см. рис. 8.4.
х+р минимальна в точке (2, 2), и стоимость равна 4; Зх+у минимальна в точке (0, 6), где стоимость равна 6; минимум для х—у равен —оо, когда х = 0 и у —>- со..
Ограничения дают 3 (2x4-5z/) + 2 (—Зх + 8у)«£9—10, т. е. 31у^ <—1, что противоречит условию 1/5=0.
Взять х и у равными и достаточно большими.
Неравенства х^О, t/5=0, x4-t/^0 допускают лишь точку (0, 0).
Допустимое множество является равносторонним треугольником в плоскости х+у+?=1 с углами в точках (х, у, г) = (1, 0, 0), (0, 1, 0), (0, 0, 1); последний угол дает максимальное значение, равное 3.
г = [1 1], так что угол является оптимальным.
г = [3 —1], так что второй столбец матрицы F включается в базис; этот столбец есть и=£^J • и вектор 5-1«=^~^ является отрицательным, так что ребро имеет бесконечную длину и минимальная стоимость равна — оо.
В точке Р имеем г = [—5 3]; в точке Q имеем г = [5/3 —1/3]; в точке R г 5= 0.
(а) Пара х = 0, ю = 6 неотрицательна, удовлетворяет уравнению Лх4-ео=6 и является допустимой, так как х = 0 добавляет п нулевых компонент. (Ь) Дополнительная задача состоит в минимизации ац при условиях хг5г0, х25=0, и, 5=0, Xi—х2+ш! = 3. Вектор первой фазы имеет вид X] = = х2 = 0, № = 3; здесь оптимальным вектором является xi=3, х2=Щ1=0. Угол находится в точке Xj = 3, х2 = 0, и допустимое множество представляет собой прямую, проходящую через эту точку и имеющую наклон 1.
Критерий останова принимает вид г <0; если он не выполняется и 1-я компонента является максимальной, то этот столбец матрицы Р включается в базис; правило 8С для вектора, исключаемого из базиса, не изменяется.
Максимизировать 4yt4- 1 lt/2 при условиях 1/15=0, у25=0, 2t/!-|-i/2<1 > Зу2< И х? =2, х2 =3, ух = у, i/2 = у , стоимость =5.
!), В связи с тем, что автором был прислан для перевода на русский язык дополненный вариант гл. 8, решения некоторых упражнений отсутствуют.
Минимизировать Зх, при условиях xr^0, x4S?l; у*=0, z/2=3, xf = l, стоимость = 3.В двойственной задаче мы максимизируем yYb при условии 1у^с"; векторы у = с и х=Ь являются допустимыми и дают одно и то же значение cb, так что, согласно 8F, они должны быть оптимальными.А = [— 1], 6 = [1], с = 0 являются недопустимыми; в двойственной задаче мы максимизируем у при условиях у>10 и —\у^0, и эта задача является неограниченной.г 01 .Минимизировать Зх, при условиях xr^0, x4S?l; у*=0, z/2=3, xf = l, стоимость = 3.В двойственной задаче мы максимизируем yYb при условии 1у^с"; векторы у = с и х=Ь являются допустимыми и дают одно и то же значение cb, так что, согласно 8F, они должны быть оптимальными.А = [— 1], 6 = [1], с = 0 являются недопустимыми; в двойственной задаче мы максимизируем у при условиях у>10 и —\у^0, и эта задача является неограниченной.г 01 .6 =6 =, с=[ — \ 0]., с=[ — \ 0].Если вектор х является очень большим, то Ах^Ь и х^О; если у=0, то уА^с и у^О. Следовательно, обе задачи являются допустимыми.Поскольку сх = 3 = у1Ь, х и у являются оптимальными в силу 8F.Ах = [1 1 3 1]т>?6 = [1 1 1 ЦТ со строгим неравенством дляЕсли вектор х является очень большим, то Ах^Ь и х^О; если у=0, то уА^с и у^О. Следовательно, обе задачи являются допустимыми.Поскольку сх = 3 = у1Ь, х и у являются оптимальными в силу 8F.Ах = [1 1 3 1]т>?6 = [1 1 1 ЦТ со строгим неравенством длятретьей компоненты; Аналогично уА = [1третьей компоненты; Аналогично уА = [1к х4 = 0.х* =к х4 = 0.х* =ГоГоследовательно, третья компонента должна быть нулем.1 1 l]^c=fl 1 1 3] и строгое неравенство приводит= у* с (у*)Ь=1=сх*; вторые компоненты Дх*5э6 иследовательно, третья компонента должна быть нулем.1 1 l]^c=fl 1 1 3] и строгое неравенство приводит= у* с (у*)Ь=1=сх*; вторые компоненты Дх*5э6 иу*А<с удовлетворяют строгим неравенствам, давая нулевые вторые компоненты в у* их*.Ах=Ь приводит к yAx = yb независимо от того, удовлетворяется ли неравенство у>*0. уА^с приводит, как и выше, к уАх<,сх, но только в силу неотрицательности х^О. Сравнивая, имеем yb<,cx.Столбцы образуют конус между положительной частью оси х и прямой х = у. В первом случае х = (1, 2)т; у = (\, 1)т удовлетворяет выбранной возможности.у*А<с удовлетворяют строгим неравенствам, давая нулевые вторые компоненты в у* их*.Ах=Ь приводит к yAx = yb независимо от того, удовлетворяется ли неравенство у>*0. уА^с приводит, как и выше, к уАх<,сх, но только в силу неотрицательности х^О. Сравнивая, имеем yb<,cx.Столбцы образуют конус между положительной частью оси х и прямой х = у. В первом случае х = (1, 2)т; у = (\, 1)т удовлетворяет выбранной возможности.Столбцы матрицыГ10 0 1о о2"Положить у =Положить у —Столбцы матрицыГ10 0 1о о2"Положить у =Положить у —0—10000—10 .100—1; тогда Ату = 0, у1 b £ 0.; тогда Ату^0, ут b < 0.0—10000—10 .100—1; тогда Ату = 0, у1 b £ 0.; тогда Ату^0, ут b < 0.
Минимизировать Зх, при условиях xr^0, x4S?l; у*=0, z/2=3, xf = l, стоимость = 3.
В двойственной задаче мы максимизируем yYb при условии 1у^с"; векторы у = с и х=Ь являются допустимыми и дают одно и то же значение cb, так что, согласно 8F, они должны быть оптимальными.
А = [— 1], 6 = [1], с = 0 являются недопустимыми; в двойственной задаче мы максимизируем у при условиях у>10 и —\у^0, и эта задача является неограниченной.
г 01 .
Минимизировать Зх, при условиях xr^0, x4S?l; у*=0, z/2=3, xf = l, стоимость = 3.
В двойственной задаче мы максимизируем yYb при условии 1у^с"; векторы у = с и х=Ь являются допустимыми и дают одно и то же значение cb, так что, согласно 8F, они должны быть оптимальными.
А = [— 1], 6 = [1], с = 0 являются недопустимыми; в двойственной задаче мы максимизируем у при условиях у>10 и —\у^0, и эта задача является неограниченной.
г 01 .
6 =
6 =
, с=[ — \ 0].
, с=[ — \ 0].
Если вектор х является очень большим, то Ах^Ь и х^О; если у=0, то уА^с и у^О. Следовательно, обе задачи являются допустимыми.
Поскольку сх = 3 = у1Ь, х и у являются оптимальными в силу 8F.
Ах = [1 1 3 1]т>?6 = [1 1 1 ЦТ со строгим неравенством для
Если вектор х является очень большим, то Ах^Ь и х^О; если у=0, то уА^с и у^О. Следовательно, обе задачи являются допустимыми.
Поскольку сх = 3 = у1Ь, х и у являются оптимальными в силу 8F.
Ах = [1 1 3 1]т>?6 = [1 1 1 ЦТ со строгим неравенством для
третьей компоненты; Аналогично уА = [1
третьей компоненты; Аналогично уА = [1
к х4 = 0.
х* =
к х4 = 0.
х* =
Г
о
Г
о
следовательно, третья компонента должна быть нулем.
1 1 l]^c=fl 1 1 3] и строгое неравенство приводит
= у* с (у*)Ь=1=сх*; вторые компоненты Дх*5э6 и
следовательно, третья компонента должна быть нулем.
1 1 l]^c=fl 1 1 3] и строгое неравенство приводит
= у* с (у*)Ь=1=сх*; вторые компоненты Дх*5э6 и
у*А<с удовлетворяют строгим неравенствам, давая нулевые вторые компоненты в у* их*.
Ах=Ь приводит к yAx = yb независимо от того, удовлетворяется ли неравенство у>*0. уА^с приводит, как и выше, к уАх<,сх, но только в силу неотрицательности х^О. Сравнивая, имеем yb<,cx.
Столбцы образуют конус между положительной частью оси х и прямой х = у. В первом случае х = (1, 2)т; у = (\, 1)т удовлетворяет выбранной возможности.
у*А<с удовлетворяют строгим неравенствам, давая нулевые вторые компоненты в у* их*.
Ах=Ь приводит к yAx = yb независимо от того, удовлетворяется ли неравенство у>*0. уА^с приводит, как и выше, к уАх<,сх, но только в силу неотрицательности х^О. Сравнивая, имеем yb<,cx.
Столбцы образуют конус между положительной частью оси х и прямой х = у. В первом случае х = (1, 2)т; у = (\, 1)т удовлетворяет выбранной возможности.
Столбцы матрицы
Г10 0 1
о о
2"
Положить у =
Положить у —
Столбцы матрицы
Г10 0 1
о о
2"
Положить у =
Положить у —
0—100
00—10 .
100—1
; тогда Ату = 0, у1 b £ 0.
; тогда Ату^0, ут b < 0.
0—100
00—10 .
100—1
; тогда Ату = 0, у1 b £ 0.
; тогда Ату^0, ут b < 0.
АтуЗа 0 приводит к у1 А^0, откуда утАх^0; с другой стороны, Ах^Ь приводит к ут Ах<. ут b < 0.
Приложение А
0 0 2 0 0
А.1. [А] =А.1. [А] =0 0 0 6 0
А.1. [А] =
А.1. [А] =
0 00 0 12
А.2. [А] [А т = /, но элемент в позиции (1,1) матрицы [А]т [А] равен нулю. Первая компонента вектора и аннулируется левым сдвигом подобно тому, как это происходит с константами при дифференцировании.
А.З. Транспонирование оставляет и, и у4 и меняет местами иг и иа:
Ml =
"1 о о о
О
О
О
О 1 О О
О" О О
[А]2 = /, поскольку транспонированная к транспонированной совпадает с исходной матрицей.
А.4. [А] =А.4. [А] ='1о2Lo'1о2Loо1 о2о1 о2ОО О ООО О ОО" о о оО" о о оА.5. Любое решение является многочленом степени = Рп_1 с базисом 1, /, .... I"-1.А.5. Любое решение является многочленом степени = Рп_1 с базисом 1, /, .... I"-1.п— 1, так что Snп— 1, так что SnА.6. [А) =А.6. [А) =ООО'—1О'—1,|5) =,|5) =■1 О][-1,=0—1[О■1 О][-1,=0—1[Оо1о1равно зеркальномуравно зеркальному
А.4. [А] =
А.4. [А] =
'1
о
2
Lo
'1
о
2
Lo
о
1 о
2
о
1 о
2
О
О О О
О
О О О
О" о о о
О" о о о
А.5. Любое решение является многочленом степени = Рп_1 с базисом 1, /, .... I"-1.
А.5. Любое решение является многочленом степени = Рп_1 с базисом 1, /, .... I"-1.
п— 1, так что Sn
п— 1, так что Sn
А.6. [А) =
А.6. [А) =
О
О
О'
—1
О'
—1
,|5) =
,|5) =
■1 О][-1
,=
0—1[О
■1 О][-1
,=
0—1[О
о
1
о
1
равно зеркальному
равно зеркальному
отражению относительно оси у.
. ГО 01
А.7. [А]=; все собственные значения матрицы проектирования
равны 0 или 1.равны 0 или 1.А.8. [А] =А.8. [А] =13132'О2'О4О4ОО"ОО"О"1 21-13 О"1 21-13 ООООО,4 -3 .4,4 -3 .4В.1. J =В.1. J ="2 О'О О"2 О'О ОО о оО о оПриложениеПриложение1 о о о о о1 о о о о оВВ
равны 0 или 1.
равны 0 или 1.
А.8. [А] =
А.8. [А] =
1
3
1
3
2'
О
2'
О
4
О
4
О
О"
О
О"
О
"1 21-1
3 О
"1 21-1
3 О
О
О
О
О
,4 -
3 .
4
,4 -
3 .
4
В.1. J =
В.1. J =
"2 О'О О
"2 О'О О
О о о
О о о
Приложение
Приложение
1 о о о о о
1 о о о о о
В
В
В.2. ^ = 8e8t(^1 + x2) + e8txl,
Аиг = 8е81 (<Axt+ Ах2) = е8/ (8ix, + 8x, + x-t).
В.З. еВ1 =В.З. еВ1 =ООt1оt1о2/ОО2/ОО= I-VBt, поскольку В2 = 0.= I-VBt, поскольку В2 = 0.
В.З. еВ1 =
В.З. еВ1 =
О
О
t
1о
t
1о
2/
О
О
2/
О
О
= I-VBt, поскольку В2 = 0.
= I-VBt, поскольку В2 = 0.
Указатель
Алгебраическая кратность 223
Алгебраическое дополнение 196, 197
Алгоритм Кроута 37
Альтернатива Фредгольма 111
Альтернативная теорема 384, 386
Анализ основных компонент 261, 292
Выбор портфеля ценных бумаг 359
Вырожденный угол 366
Галуа 218
Гармоники (гармонические составляющие) 216, 230, 243, 249
Базис 82
Базисное решение 364
Базисные переменные 71, 364
Бесконечномерное пространство 159*
408
Блочное умножение матриц 205
Блочный степенной метод 333
Бридж 404
Булева алгебра 186
Буняковский 130
Гаусс 11, 13, 31, 43, 48, 74, 206
Гейзенберг 269
Гейл 386, 403
Гены 235
Геометрическая кратность 223
Гершгорин 351
Гессе 285
Гивенс 301
Гильберт 51, 56, 159, 161, 269, 408, 409
Гильбертово пространство 159, 269, 408, 409
Главная подматрица 296
Вандермонд 99, 191
Ведущий элемент 13, 34, 50, 56, 184,
289
в симплекс-методе 366
Голуб 350
Грузовые перевозки 234
Гурвиц 246
формула 204, 205
Вектор 18
— невязки 136
Векторное пространство 62—64
Вес 63, 139, 175
Вещественное пространство 65
Взаимно однозначное преобразова
ние 97, 409
Взвешенная длина 176, 178
Взвешенное скалярное произведение 178
— среднее значение 175
Взвешенные наименьшие квадраты 175
Волновое уравнение 250
Данциг 361
Двойственная задача 357, 375
Двухдиагональная матрица 57
Двухточечная краевая задача 53
Дефект 89, 120
Дефектная матрица 216, 223, 275
Диагонализация 221, 258, 272, 303,
314, 415
Диагональная матрица 37, 170
Диагональное преобладание 352
Дилемма заключенного 405
Динамическое программирование 394
Дисперсия 146
Дифференциальное уравнение 52, 211, 239, 421
Диффузия 242, 244, 245
Длина 101, 159, 254, 265
— взвешенная 76, 178
Допустимое множество 355, 360, 376,
Допустимый вектор 355, 377, 379
Достижимый вектор 384
Дуги сети 388
Единичная матрица 29
Единичный вектор 103
— — в направлении оси координат 78
Единственность решения 95
Жордан 45, 75, 275, 416, 419
Жорданова форма 275, 416, 419
Задача об оптимальном назначении 394
— о бракосочетании 394-
— — диете 357, 376
коммивояжере 394
максимальном потоке 388
— — перевозках 359, 395
простом назначении 392
Закон ассоциативности 27
— дистрибутивности 28
— инерции 298
— Кирхгофа 111
— Ньютона 247, 301
— Ома 112
— Сильвестра 298
Замена базиса 414
— переменных 244 , 268
Зацикливание 366
Зейдель 345
Значение программы 355
Идемпотентная матрица 140
Изоморфизм 117
Исключение с частичным выбором ведущего элемента 51
Исправленный симплекс-метод 372
Исходная задача 357, 374
Итеративное уточнение 352
Итерационные методы 322, 343
Калифорния 22, 232, 333
Квадратичная форма 281, 283, 285
Квадратный корень 227, 291
Квантовая механика 225, 269
Кирхгоф 111
Коммутирование матриц 29, 133 225
контрпример 28’’
Комплексное число 216, 251
Комплексно-сопряженное число 252
Комплексный вектор 253, 267
Конечно-разностная матрица 59 191
319’‘
Консервативная система 246
Контур 111
Конус 384 , 387
Корреляционная матрица 261
Косинус 128, 130, 161
Кососимметрическая матрица 190, 401
Косоэрмитова матрица 263, 264
Коши 130
Коэффициент корреляции 177
— регрессии 175'
Коэффициенты влияния 184
Краевая задача 53
Крамер 185, 201
Критерий останова 368, 381
Кроут 37
Кун 379, 403
Лагранж 378
Левая обратная матрица 44, 94, 138, 411
Левое нуль-пространство 92
Левый нуль-вектор 92
Лежандр 162, 164
Лемма Шура 270
Ленбергер 373
Ленточная матрица 52, 58
Леонтьев 238, 239
Линейная зависимость 77
— комбинация 22, 63, 77
— независимость 77, 90, 224
— оболочка 81
Линейное преобразование 97, 407, 410
— программирование 353
Линейность 23, 185, 407
Линейные неравенства 353
Ляпунов 246
Максимум 283
Марковский процесс 232, 235, 244, 245 ■
Массы 249, 301, 315
Масштабирование 51
Матрица 19
— Вандермонда 99
— весов 178
— вырожденная 40, 187
— Гессе 285
— Гильберта 51, 56, 161
— дефектная 216, 223, 275
— единичная 29
— Жордана 275, 417
— «затраты — выпуск» Леонтьева 238
— идемпотентная 140
— инцидентности 112, 389
— квадратный корень 227, 291
— ковариации 177, 179
— конечных разностей 59, 191, 198, 319
— корреляционная 251
— кососимметрическая 190, 401
— косоэрмитова 263, 264
коэффициентов 19
ленточная 52, 58
— Мура — Пенроуза 165
— невырожденная 41, 98
— неопределенная 295
— неотрицательная 232, 237, 238
— нижняя треугольная 31
— нормальная 32, 44, 94
— обратимая 44, 188
— обратная 32, 44, 94
— ортогональная 151, 258, 329
— ортонормированная 151
— отражения 141
— отрицательно определенная 236
— перестановки 40, 43, 70, 152
— плохо обусловленная 48, 324
— положительно определенная 178, 285, 287, 331
— полуопределенная 295
— потребление 237
— присоединенная 201
— проектирования 139, 415
псевдообратная НО, 165
ранга один 93
симметрическая 54, 132
с кратными собственными значениями 260, 268, 272, 417
— — различными собственными значениями 222, 224, 260, 272
— ступенчатая форма 69, 76
— транспонированная 55, 131
—- трапецеидальная 65
— треугольная 31, 187, 270
— трехдиагональная 54, 336, 341
— унитарная 258, 264, 265
— Хессенберга 118, 336, 341
— хорошо обусловленная 48, 324
— элементарная 31
— эрмитова 256, 272
— эрмитовая к А 255
— эрмитово сопряженная 255
Метан 134
Метод взвешенных наименьших квадратов 176, 178
— Гаусса — Зейделя 345, 351
— Гивенса 301
— исключения Гаусса 11, 13, 31, 43, 74, 206
— — с полным выбором ведущего элемента 50
частичным выбором ве
дущего элемента 50, 51, 324
Гаусса — Жордана 45, 75
конечных разностей 53
— — элементов 309, 315, 316
— наименьших квадратов 126, 135, 137, 166, 174, 306
переменных направлений 350
последовательной верхней релаксации 346
— сопряженных градиентов 351
— Якоби 336, 344, 351
Минимум 279, 282
Минор 196
Мнимое число 226, 251, 263
Многомерный анализ 280
Многочлены 98, 407
— Лежандра 162, 164
Множители 33
— Лагранжа 378
Множитель, характеризующий сходимость 333, 334
Модуль 253
Молер 48
Мур 165, 182
Начальная задача 211
Невырожденность 68, 98, 122
Недоопределенная система 68
Нейман 48, 236, 269, 402, 403
Нейтральная устойчивость 211, 235, 245
Нелинейная задача о наименьших квадратах 145
Нелинейное убывание 236
Ненулевое решение 72
Необратимость во времени 244
Неопределенная квадратичная форма 283
— матрица 295
Неотрицательная матрица 232, 237, 238
Неотрицательное решение 384
Неравенство Коши—Шварца—Буня- ковского 130
— треугольника 133
— Шварца 130, 133, 159
Несовместная система 68, 126, 138
Нетривиальная комбинация 77
Неустойчивость 211, 235, 245
Нижняя треугольная матрица 31
Нобл 48
Норма 324, 328, 330
Нормальная матрица 274, 277
Нормальные уравнения 137, 330
Нулевая длина 178
— строка 186
Нулевой ведущий элемент 14, 39, 98, 206
— вектор 64, 65
— определитель 182
Нуль-пространство 66, 72, 88, 105, 419
Обобщенная задача на собственные значения 301, 304
— обратная матрица 165
Обобщенный собственный вектор 241,
417
Образ 89
Обратимая матрица 44, 188
Обратимое отображение 97
Обратная матрица 32, 44, 94
— — к произведению 44
транспонированной 133
— — Мура — Пенроуза 165"
— — формула 20
— подстановка 14, 35
Обратный степенной метод 333, 334
Обусловленность 48
Общее решение 74
Объединение 115
Ограничения 360, 363, 379
Однородная система 72
Определитель 182
— Вандермонда 191
— матрицы перестановки 189, 191, 194, 206
— свойства 185
— формула 191, 194, 197, 218
— Якоби 183, 207
Оптимальный вектор 355, 377 , 379
Ортогонализация Грамма — Шмидта
127, 154, 162, 203, 309, 338
Ортогональная матрица 151, 258, 329
Ортогональное дополнение 107
Ортогональные векторы 101, 102
— подпространства 104
— собственные векторы 257, 263, 265, 274
Ортогональный базис 146
Ортонормированная матрица 151
Ортонормированные векторы 103, 147
155’’
— собственные векторы 258, 274
Оси эллипсоида 293, 311 ’
Основная теорема линейной алгебпы 92, 108р
Основные подпространства 86 119
256’
Отношение Релея 307, 309, 312 320
330, 334’
Отображение «на» 97, 409
Отрицательно определенная квадратичная форма 283 матрица 236 — полуопределенная квадратичная форма 283
Ошибка 134, 324, 325
— округления 12, 47, 162, 227, 229
Параболоид 305'
Пенроуз 165, 174
Переменная невязки 357, 363
Переопределенная система 126, 143
Пересечение 114
Перестановка 193, 209
— строк 26, 36, 56, 186
Пифагор 100, 153
Плавающая точка 32
Планирование производства 359
Плохо обусловленная матрица 48, 324
Площадь 207
Погрешность (ошибка) 324, 325
Подгонка данных 143, 163
Подматрица 121
Подобные матрицы 268
Подпространство 64
Подсчет числа действий 15, 36, 46, 58,
341
Покер 405
Полный выбор ведущего элемента 50
— квадрат 282, 289
Положительно определенная квадратичная форма 281, 285
— — матрица 178, 285, 287, 331
— полуопределенная квадратичная форма 283
Полуопределенная матрица 295
Полупространство 353
Последовательность Фибоначчи 128,
135
Почти периодическое движение 249
Правая обратная матрица 44, 94
Правило Крамера 185, 201
Предельная стоимость 382
Представление в виде матрицы 410
Преобразование конгруэнтности 298
— подобия 268, 277, 414, 420
— Хаусхолдера 153, 336, 339
Принцип максимина 311
— минимума 304
— неопределенности Гейзенберга 269
— Релея 307
— Реле я — Ритца 315
Присоединенная матрица 201
Присоединенный вектор 418
Проекция 109, 126, 136, 137, 148 , 273
Произведение ведущих элементов 57, 184, 191
— матриц 25, 119, 413
— определителей 188
— псевдообратных матриц 176
Пропускная способность разреза 390
Пространство 64
— столбцов 64, 89
— строк 81, 87, 105
Псевдообратная матрица НО, 165
— — произведения 176
формула 170, 173
Разбиение на блоки 205
Разделяющая гиперплоскость 385, 386
Разложение определителя на алгеб
раические дополнения 196
— Холецкого 291, 331
— LDU 37, 38, 55
— LU_ 12, 34, 70
— LU 120, 172
— QR 157, 338
QiSQj 170, 339
Размерность 84
основных подпространств 92
Разностное уравнение 53, 227
Разрез сети 390
Разрешимость системы 63
Райнш 323
Ранг 75, 77
подматрицы 121
— произведения 120
Расстояние 129
Раус 246
Ребро 361, 362
Регрессионный анализ 126, 260
Релаксационный множитель 346
Релей 307, 315
Ритц 315
Ряды Фурье 160, 164
Сверхубывание 243
Свободные переменные 71, 88, 364
— члены 18
Свойства определителя 185
Сдвиг 334, 340
Седловая точка 283, 309, 397
Сетевые задачи 388
— модели 388
Сильвестр 298
Симметрическая матрица 54, 132
Симметрическое исключение 297
Симплекс-метод 360, 361, 372, 379
Сингулярное разложение 170, 330, 339
Сингулярные числа 170, 330
Скалярное произведение 20, 25, 102
— — взвешенное 178
в комплексном случае 254, 265
функций 160
Слабая двойственность 377
След 218,
Смешанная стратегия 396, 399
Собственное подпространство 214
Собственные значения 182, 213, 263, 267, 268
кратные 260, 272, 417
различные 222, 224, 260, 272
— функции 243
Собственный вектор 213, 230, 257
обобщенный 241, 417
Сопрягающий член 149
Сопряженно транспонированная матрица 255
Спектральная теорема 258, 271
Спектральный радиус 344
Среднее арифметическое 133, 150
— геометрическое 133
— значение 146
Средняя ошибка 134, 142, 143
Стандартный базис 147
Стационарная точка 280
Стационарное состояние 233, 244
Степенные методы 323, 332, 334
Ступенчатая форма матрицы 63, 76
Стюарт 342
Сумма подпространств 115, 118
Существование решения 95’
Таблица для симплекс-метода 367
Такер 379
Теневые цены 382
Теорема двойственности 376
— Кэли — Гамильтона 271
— о кругах Гершгорина 351
максимальной точке и минималь
ном разрезе 390
минимаксе 402
равновесии 379
разделяющей гиперплоскости 386
Теория игр 395
Торп 404
Транспонированная матрица 55, 131
определитель 189
к обратной 133
произведению 131
Трапецеидальная матрица 69
Треугольная матрица 31, 187, 270
Трехдиагональная матрица 54, 336,
341
Угол 127, 265, 356, 361
Узлы сети 388"
Уилкинсон 48, 323, 329, 342
Умножение вектора на матрицу 19, 20
— матриц 25
Унитарная матрица 258, 264, 265
Уравнение теплопроводности 243, 244
Условие оптимальности 368
Условия Куна — Такера 379
— совместности невязок 379, 382, 398
Устойчивость 212, 235, 245, 271
Факторный анализ 260, 261
Фибоначчи 228, 235
Фикс 320
Филиппов 276, 418
Формула для ведущего элемента 204, 205
обратной матрицы 20
— — определителя 191, 194, 197, 218
псевдообратной матрицы 170, 173
Форсайт 48
Фредгольм 111
Функциональное пространство 158, 159
Функция стоимости 355, 360, 368
Фурье 160, 164
Характеристический многочлен 213, 217, 269
Характеристическое уравнение 213, 217
Хаусхолдер 153, 336, 339
Хессенберг 118, 336, 341
Хоккей 350
Холецкий 291, 300, 331
Хорошо обусловленная матрица 48, 324
Целевая функция 355
Цена игры 397, 402
Цепочка векторов 418
Частичный выбор ведущего элемента 50, 324
Частное решение 74
Частота 215, 248
Четная перестановка 206
Численное интегрирование 99
Число обусловленности 323, 325, 328
Шахматы 404, 406
Шварц 130, 133, 159
Ширина ленты 58
Шур 270
Экономика 236, 238, 263, 376
Экспонента от матрицы 239, 240, 244, 422
Экспоненциальное решение 215, 239, 240, 244
Элементарное преобразование 186
Элементарные матрицы 31
Эллипс 293
Эллипсоид 294, 304 , 311
Эпидемия 234
Эрмитова матрица 256, 272
Эрмитово сопряженная матрица 255
Ядро 89
Якоби 336, 344, 351
Якобиан 183, 207
Янг 348
«Ящичные» ограничения 389
LD [/-разложение 37, 38, 55
Ш-разложение 12, 34, 70
[.[/-разложение 120, 172
Q^-алгоритм (метод) 323, 332, 340, 341
Q/7-разложение 157, 338
QiZQ^-разложение 170, 339
Оглавление
От редактора перевода 5
Предисловие.. . .7
Г лава 1. МЕТОД ИСКЛЮЧЕНИЯ ГАУССА И
Введение И
Пример применения метода исключения Гаусса 13
Матричные обозначения и умножение матриц 17
Эквивалентность метода исключения Гаусса и разложения на треугольные матрицы 30
Перестановки строк, обращения и ошибки округления . . .39
Ленточные матрицы, симметрические матрицы и их применения52
Обзорные упражнения 60
Глава 2. ТЕОРИЯ СИСТЕМ Л ИНЕЙНЫХ УРАВНЕНИЙ 62
Векторные пространства и подпространства 62
Решение m уравнений с п неизвестными 68
Линейная независимость, базис и размерность 77
Четыре основных подпространства 86
Ортогональность векторов и подпространств 100
Пары подпространств и произведения матриц 113
Обзорные упражнения 123
Глава 3. ОРТОГОНАЛЬНЫЕ ПРОЕКЦИИ И МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 125
Скалярные произведения и транспонирование ........125
Проекции на подпространства и аппроксимации по методу наименьших квадратов 134
Ортогональные базисы, ортогональные матрицы и ортогонализация Грама—Шмидта 146
Псевдообращение и сингулярноеразложение 164
Взвешенные наименьшиеквадраты 174
Обзорные упражнения 180
Глава 4.ОПРЕДЕЛИТЕЛИ 182
Введение 182
Свойства определителя 185
Формулы для определителя 191
Применения определителей 200
Обзорные упражнения 208
Глава 5. СОБСТВЕННЫЕ ЗНАЧЕНИЯ И СОБСТВЕННЫЕ ВЕКТОРЫ 210
Введение 210
Диагональная форма матрицы 221
Разностные уравнения и степени А6 .. .227
Дифференциальные уравнения и экспонента eAt 239
Комплексный случай: эрмитовы и унитарные матрицы . . .251
Преобразования подобия и треугольные формы 267
Обзорные упражнения 277
Глава 6. ПОЛОЖИТЕЛЬНО ОПРЕДЕЛЕННЫЕ МАТРИЦЫ279
Максимумы, минимумы и седловые точки 279
Критерии положительной определенности 286
Полуопределенные и неопределенные матрицы. Обобщенная задача на собственные значения Ах = ХВх 295
Принципы минимума и отношение Релея 304
Принцип Релея — Ритца и метод конечных элементов . . . .315
Глава 7. ВЫЧИСЛЕНИЯ С МАТРИЦАМИ 322
Введение 322
Норма и число обусловленности матрицы 324
Вычисление собственных значений 332
Итерационные методы решения системы Ах — Ь 343
Глава 8. ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ И ТЕОРИЯ ИГР . .353
Линейные неравенства 353
Симплекс-метод 360
Теория двойственности 374
Сетевые модели 388
Теория игр ■ и теорема о минимаксе 395
Приложение Л. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ, МАТРИЦЫ И ЗАМЕНЫБАЗИСОВ 407
Приложение В.ЖОРДАНОВАФОРМА МАТРИЦЫ 416
Список литературы 423
Решения- 424
Указатель 446
.3 1.
LX4_
Первые две компоненты вновь оказываются определенными: х1 = 61/р1, х2 = 6г/р2. Оставшиеся две компоненты должны равняться нулю в силу требования минимальности длины, так что оптимальное решение имеет вид
*) В истинность которого я, кстати, никогда не верил.
*) Эта процедура может показаться исключительно плохо обусловленной, так как матрица А—al близка к вырожденной настолько, насколько это можно было сделать вычитанием а! из А. К счастью, погрешность главным образом сосредоточена в направлении собственного вектора матрицы А. Так как любой собственный вектор, умноженный на число, тоже является собственным векторвм, то это единственное направление, которое мы хотим вычислить.
Г.Стренг