Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Б.В. ГНЕДЕНКО
КУРС
ТЕОРИИ
ВЕРОЯТНОСТЕЙ
ИЗДАНИЕ ШЕСТОЕ, ПЕРЕРАБОТАННОЕ И ДОПОЛНЕННОЕ
Допущено Министерством
высшего и среднего
специального образования СССР
в качестве учебника
для студентов математических специальностей университетов
МОСКВА "НАУКА"
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
19 8 8
ББК 22.171
Г56
УДК 519.21 (075.8)
Гнеденко Б.В. Курс теории вероятностей: Учебник — Изд. 6-е, перераб. и доп. — М.: Наука. Гл. ред. физ.-мат. лит., 1988. —448 с. ISBN 5-02-013761-8
Дается систематическое изложение основ теории вероятностей, проиллюстрированное большим числом подробно рассмотренных примеров, в том числе и прикладного содержания. Серьезное внимание уделено рассмотрению вопросов методологического характера.
Настоящее издание значительно отличается по содержанию от 5-го (1969 г.): введены дополнительные параграфы математического и прикладного характера, добавлен большой очерк истории теории вероятностей, содержащий результаты исследований самого последнего времени.
Для студентов математических специальностей университетов и педагогических институтов.
Табл. 22. Ил. 19. Библиогр. 28 назв.
Рецензенты:
Кафедра математической статистики факультета ВМК МГУ
(заведующий кафедрой академик Ю.В. Прохоров).
Член-корреспондент АН СССР Б.А. Севастьянов.
ГГ71-8871-88
Г
Г
71-88
71-88
1702060000-050
05 3(021-88
ISBN 5-02-013761 -8
©Издательство ’"Наука”.
Главная редакция физико-математической литературы, 1988
ОГЛАВЛЕНИЕ
Предисловие к шестому изданию 7
Из предисловия ко второму изданию 9
Из предисловия к первому изданию 9
Введение 11
Глава 1. Случайные события и нх вероятности 16
Интуитивные представления о случайных событиях J6
Поле событий. Классическое определение вероятности . . .20
Примеры 29
Геометрические вероятности 38
О статистической оценке неизвестнойвероятности 45
Аксиоматическое построениетеории вероятностей 49
Условная вероятность и простейшие основные формулы 54
Примеры 62
Упражнения 69
Глава 2. Последовательность независимых испытаний 72
72778592971031067277859297103106Вводные замечания
72
77
85
92
97
103
106
72
77
85
92
97
103
106
Локальная предельная теорема
Интегральная предельная теорема
Применения интегральной теоремы Муавра-Лапласа
Теорема Пуассона
Иллюстрация схемы независимых испытаний
Упражнения ..
Глава 3. Цепи Маркова 109
Определение цепи Маркова 109
§ 16. Матрица перехода 110
§ 17. Теорема о предельных вероятностях 112
Упражнения 115
Глава 4. Случайные величины и функции распределения 116
116123127135148153116123127135148153Основные свойства функций распределения
116
123
127
135
148
153
116
123
127
135
148
153
Непрерывные и дискретные распределения
Многомерные функции распределения
Функции от случайных величин
Интеграл Стилтьеса
Упражнения
Глава 5. Числовые характеристики случайных величин 158
Математическое ожидание 158
Дисперсия 164
Теоремы о математическом ожидании и дисперсии .169
Моменты 175
Упражнения 180
Глава 6. Закон большихчисел 184
Массовые явленияи закон больших чисел 184
Закон больших чисел в форме Чебышева 187
Необходимое и достаточное условие для закона больших чисел . . . .191
Усиленный закон больших чисел 195
Теорема В.И. Гливенко 201
Упражнения 207
Глава 7. Характеристические функции 209
Определение и простейшие свойства характеристических функций 209
Формула обращения и теоремаединственности 214
Теоремы Хелли' 219
Предельные теоремы для характеристических функций 224
Положительно определенные функции 228
Характеристические функции многомерных случайных величин 234
Преобразование Лапласа - Стилтьеса 238
Упражнения 244
Глава 8. Классическая предельная теорема 248
Постановка задачи 248
Теорема Линдсборга 251
Локальная предельнаятеорема 257
Упражнения■. . .263
Глава 9. Теория безгранично делимых законов распределения 264
Безгранично делимые законы и их основные свойства 265
Каноническое представление безгранично делимых законов 267
Предельная теорема для безгранично делимых законов 272
Постановка задачи о предельных'теоремах для сумм 276
Предельные теоремы для сумм . . .277
Условия сходимости к законам нормальному и Пуассона 280
Суммирование независимых случайных величин в случайном числе 283
Упражнения' 288
Глава 10. Теория стохастических процессов 290
Вводные замечания 290
Процесс Пуассона 294
Процессы гибели и размножения 300
Условные функции распределения и формула Байеса 312
Обобщенное уравнение Маркова 316
Непрерывный случайный процесс. Уравнения Колмогорова . . ' 317
Чисто разрывный процесс. Уравнения Колмогорова - Феллера326
Однородные случайные процессы с независимыми приращениями . . .333
Понятие стационарного случайного процесса. Теорема Хинчина о корреляционной функции 338
Понятие стохастического интеграла. Спектральное разложение стационарных процессов 344
Эргодическая георема Биркгофа Хинчина 348
Глава 11. Элементы статистики 353
Основные задачи математической статистики 353
Классический метод определения параметров распределения 357
Исчерпывающие статистики 367
Доверительные 1раницы и доверительные вероятности 369
Проверка статистических гипотез 377
Дополнение. Очерк истории теории вероятностей 386
Глава 1. Предыстория понятия вероятности и случайного события386
Первые данные 386
Исследования Дж. Кардано и Н. Гарталья 388
Исследования Галилео Галилея 390
Вклад Б. Паскаля и П. Ферма в развитие теории вероятностей 393
Работа X. Гюйгенса 397
О первых исследованиях по демографии. 400
Глава 2. Период формирования основ теории вероятностей 402
Возникновение классического определения вероятности 402
О формировании понятия геометрической вероятности 405
Основные теоремы теории вероятностей 409
Задача о разорении игрока 412
Возникновение предельных теорем теории вероятностей 413
Контроль качества продукции 415
Глава 3. К истории формирования понятия случайной величины 418
Развитие теории ошибок наблюдений 418
Формирование понятия случайной величины 420
Закон больших чисел 423
Центральная предельная теорема 425
Общие предельные распределения для сумм 429
Закон повторного логарифма 432
Формирование понятий математического ожидания и дисперсии 434
Глава 4. .К истории теории случайных процессов 436
Общие представления .. .436
. - V2 /2
Таблица значений функции ^(х) = —■— е " 1 44!
Таблица значений функции Ф(зг) =2 ^dz442
Таблица значений функции Р^^и} - ^ii т -а к а еТаблица значений функции Р^^и} - ^ii т -а к а еxfl-n О
Таблица значений функции Р^^и} - ^i
i т -а к а е
Таблица значений функции Р^^и} - ^i
i т -а к а е
Таблица значений функции 5445
т=0 ж-
Список литературы 447
Более трети века прошло со времени выхода в свет первого издания настоящей книги. С тех пор в нашей стране и за ее пределами вышли многочисленные учебники по теории вероятностей, заслуживающие самой высокой оценки. Отличительная черта подавляющего большинства этих книг — стремление дать возможно более строгое в теоретическом плане изложение теории и показать силу математической абстракции. Настоящая книга ставит перед собой совсем иную цель: восходя от интуитивных представлений и рассматривая большое число примеров, подойти хотя бы к некоторым исследованиям, активно развивающимся в наши дни.
Это издание значительно отличается от предшествующего: введен ряд параграфов, содержащих изложение некоторых новых результатов, вполне доступных читателям настоящей книги: вновь помещена небольшая глава, содержащая элементы математической статистики: приведено добавление, излагающее довольно подробно период возникновения и развития теории вероятностей. Этот очерк базируется на исследованиях последних лет автора и его учеников. Следует сказать, что многие вопросы истории теории вероятностей еще ожидают своих исследователей. В частности, в таком состоянии находится теория случайных процессов. Однако многое еще требует выяснения и в классической теории вероятностей.
Всем хорошо известно, что абстрактное изложение предмета дает возможность быстрее подвести читателя к современному состоянию науки, а также выиграть страницы, которые необходимы для изложения материала. Я считаю, что при первоначальном знакомстве с математическими дисциплинами, а особенно с теорией вероятностей, необходимо рассмотрение большого числа примеров, которые помогли бы развить своеобразную теоретико-вероятностную интуицию, способность увязывать абстрактные идеи и методы с практическими ситуациями. Это приобретение необходимо каждому математику, а особенно подавляющему большинству студентов- математиков, которым предстоит работать в научно-исследовательских институтах прикладного плана. К тому же в настоящее время с теорией вероятностей вынуждены знакомиться многие специалисты, поскольку в их повседневной работе теоретико-вероятностные концепции крайне
необходимы. Им знакомиться с необходимым разделом науки по абстрактным книгам и трудно, и не нужно, поскольку такие книги не создадут так необходимого мостика между потребностями практики и математической теорией. Впрочем, для этой категории читателей, быть может, нужны совсем особые книги, написанные в специальном методическом и психологическом ключе.
Когда книга уже написана, видишь, как много в ней недостатков, как много мест следовало бы в ней переделать. Однако приходится смириться и отложить переделки до возможного переиздания. В связи с этим я прошу читателя направлять мне критические замечения и пожелания, к которым я отнесусь со всем необходимым вниманием.
Я счастлив поблагодарить Ю.В. Прохорова, Б .А. Севастьянова и Д.М. Чибисова за большое число замечаний, которые они мне сделали в результате знакомства с рукописью. К сожалению, я не имел возможности в полной мере использовать все их пожелания, постараюсь это сделать впоследствии.
ИЗ ПРЕДИСЛОВИЯ КО ВТОРОМУ ИЗДАНИЮ
Настоящее издание значительно отличается от первого. Я постарался возможно полнее учесть в нем замечания и пожелания, которые содержались в печатных рецензиях на первое издание книги, а также были сообщены мне устно и письменно. Пожалуй, наиболее существенным изменением является добавление задач для упражнений в первых девяти главах.
Значительные добавления сделаны в главе 10; они касаются главным образом расширения сведений по теории стационарных случайных процессов. Большим изменениям подверглась последняя глава, посвященная математической статистике. В этой главе имеются некоторые новые параграфы, но в то же время исключен частично материал, содержавшийся в первом издании. Пользуюсь случаем сердечно поблагодарить товарищей, высказавших откровенное мнение о недостатках книги и способствовавших своей критикой их исправлению. Особенно я благодарен Ю.В. Линнику за его постоянный интерес к настоящей книге, большое число замечаний к первому изданию и за дискуссию по рукописи второго издания.
ИЗ ПРЕДИСЛОВИЯ К ПЕРВОМУ ИЗДАНИЮ
Настоящий курс разбивается на две части — элементарную (главы 1 -6) и специальную (главы 7-11). Последние пять глав могут служить базой для спецкурсов — теории суммирования случайных величин, теории стохастических процессов, элементов математической статистики.
Теория вероятностей рассматривается в книге исключительно как математическая дисциплина, поэтому получение конкретных естественнонаучных или технических результатов в ней не является самоцелью. Все примеры в тексте книги имеют целью только разьяснение общих положений теории и указание на связь этих положений с задачами естествознания. Конечно, одновременно эти примеры дают указания на возможные области приложения общетеоретических результатов, а также развивают умение применять эти результаты в конкретных задачах. Хорошо, если изучающий
теорию вероятностей имеет перед глазами какие-нибудь явления материального мира для того, чтобы общая математическая схема наполнялась определенным смыслом. Такое направление изучения дает возможность читателю выработать своеобразную теоретико-вероятностную интуицию, которая позволяет предвидеть в общих чертах выводы раньше, чем применен аналитический аппарат. Заметим далее, что без систематического решения задач изучать теорию вероятностей нельзя, в особенности на первых порах.
Первые четыре параграфа главы 1 являются незначительной переработкой неопубликованных рукописей А. Н. Колмогорова.
Я счастлив поблагодарить здесь моих дорогих учителей А.Н. Колмогорова и А.Я. Хинчина, много помогавших мне своими советами и беседами, касавшимися узловых вопросов теории вероятностей.
ВВЕДЕНИЕ
Цель настоящей книги состоит в изложении основ теории вероятностей - математической науки, изучающей закономерности случайных явлений.
Возникновение теории вероятностей относится к середине XVII века и связано с именами Гюйгенса (1629-1695), Паскаля (1623—1662), Ферма (1601 — 1665) и Якоба Бернулли (1654—1705). В переписке Паскаля и Ферма, вызванной задачами, поставленными азартными игроками й не укладывающимися в рамки математики того времени, выкристаллизовывались постепенно такие важные понятия, как вероятность И математическое ожидание. При этом, конечно, нужно отдавать себе ясный отчет, что выдающиеся ученые, занимаясь задачами азартных игроков, предвидели и фундаментальную натурфилософскую ролЬ науки, изучающей случайные явления. ОНИ были убеждены в том. что на базе массовых случайных событий могут возникать четкие закономерности И только состояние естествознания привело к тому, что азартные игры еще долго продолжали оставаться тем почти единственным конкретным Материалом, на базе которого создавались Понятия и методы теории вероятностей. Это обстоятельство накладывало отпечаток и на формально-математический аппарат, Посредством которого решались возникавшие в теории вероятностей задачи: он сводился Исключительно к элементарно арифметическим и комбинаторным методам. Последующее развитие теории вероятностей, а также широкое привлечение ее результатов и методов исследования в естествознание, и в первую очередь в физику, показали, что классические Понятия и классические методы не потеряли своего интереса и в настоящее время. .
Серьезные требования со стороны естествознания и Общественной практики (теория ошибок Наблюдений, задачи теорий стрельбы. Проблемы статистики, в первую очередь статистики народонаселения) привели к необходимости дальнейшего развития теории вероятностей и привлечения более развитого аналитического аппарата, бсобенно значительную роль в развитии аналитических методов теории вероятностей сыграли Муавр (1667— 1754). Лаплас (1749-1827), Гаусс (1777-1855). Пуассон (1781-1840). С формально-аналйТйчесКой стороны к этому же направлению примыкает работа творца неевклидовой геометрии И.И. Лобачевского (1792-1856), Посвященная теории ошибок при измерениях на сфере и выполненная
с целью установления геометрической системы, господствующей во вселенной.
С половины XIX столетия и приблизительно до двадцатых годов нашего века развитие теории вероятностей связано в значительной мере с именами русских ученых - П.Л. Чебышева (1821-1894), А.А. Маркова (1856— 1922), А.М. Ляпунова (1857—1918). Этот успех русской науки был подготовлен деятельностью В.Я. Буняковского (1804—1889), широко культивировавшего в России исследования по применению теории вероятностей к статистике, в особенности к страховому делу и демографии. Им был написан первый в России курс теории вероятностей, оказавший большое влияние на развитие интереса к этой области науки. Основное непреходящее значение работ Чебышева, Маркова и Ляпунова в области теории вероятностей состоит в том, что ими было введено в качестве объекта систематического изучения и широко использовано понятие случайной величины. С результатами Чебышева относительно закона больших чисел, с ’’цепями Маркова” и с предельной теоремой Ляпунова мы познакомимся в соответствующих разделах настоящей книги.
Современное развитие теории вероятностей характеризуется всеобщим подъемом интереса к ней, а также расширением круга ее практических приложений. В этой напряженной научной работе советская школа теории вероятностей продолжает занимать выдающееся положение. Среди представителей первого поколения советских ученых прежде всего должны быть названы имена С.Н. Бернштейна (1880-1968), А.Н. Колмогорова (1903 — 1987) и А.Я. Хинчина (1894—1959). В процессе изложения мы будем вынуждены самим существом дела вводить читателя в курс преобразовавших лицо теории вероятностей идей и результатов. Так, уже в первой главе будем говорить о фундаментальных работах С.Н. Бернштейна, Р. Мизеса (1883—1953) и А.Н. Колмогорова по основаниям теории вероятностей. В двадцатых годах нашего столетия А.Я. Хинчин, А.Н. Колмогоров, Е.Е. Слуцкий (1880 1948) и П. Леви (1886—1971) установили тесную связь между теорией вероятностей и метрической теорией функций. Эта связь оказалась весьма плодотворной. На этом пути удалось найти окончательное решение классических задач, поставленных еще П.Л. Чебышевым, а также значительно расширить содержание теории вероятностей. Полностью к советскому периоду относится создание А.Н. Колмогоровым и А.Я.Хинчиным в тридцатых годах основ теории стохастических (вероятностных, случайных) процессов, которая теперь стала основным направлением исследований в теории вероятностей. Указанная теория служит прекрасным образцом того органического синтеза математического и естественнонаучного мышления, когда математик, овладев физическим существом узловой проблемы естествознания, находит для нее адекватный математический язык. Нам важно заметить, что решение классических задач теории
вероятностей оказалось тесно связанным с теорией стохастических процессов. Элементы этой важной главы теории вероятностей будут изложены нами в главе десятой.
За последние десятилетия неизмеримо выросла роль, которую играет теория вероятностей в современном естествознании. После того как молекулярные представления о строении вещества получили всеобщее признание, стало неизбежным широкое использование теории вероятностей и в физике и в химии. Заметим, что с точки зрения молекулярной физики каждое вещество состоит из огромного числа малых частиц/находящихся в непрерывном движении и в процессе этого движения воздействующих друг на друга. При этом о природе этих частиц, о существующем между ними взаимодействии, характере их движения и пр. известно мало. В основных чертах эти сведения исчерпываются тем, что частиц, из которых состоит вещество, очень много и что в однородном теле они близки по своим свойствам. Естественно, что при таких условиях обычные для физических теорий методы математических исследований становились бессильными. Так, например, аппарат дифференциальных уравнений не мог привести в указанной обстановке к серьезным результатам. Действительно, ни строение, ни законы взаимодействия между частицами вещества в достаточной мере не изучены, и при таких условиях применение аппарата дифференциальных уравнений должно носить элементы грубого произвола. Но даже если бы этой трудности не существовало, уже одно количество этих частиц представляет собой такую трудность в изучении их движения, которую преодолеть с помощью обычных уравнений механики нет возможности.
К тому же и методологически такой подход неудовлетворителен. Действительно, задача, которая здесь возникает, состоит не в изучении индивидуальных движений частиц, а в изучении тех закономерностей, которые возникают в совокупностях большого числа движущихся и взаимодействующих частиц. Закономерности же, возникающие вследствии участвующих в их возникновении ингредиентов, имеют свое собственное своеобразие и не сводятся к простому суммированию индивидуальных движений. Более того, эти закономерности в известных пределах оказываются не зависящими от индивидуальных особенностей участвующих в их порождении частиц. Конечно, для изучения этих новых закономерностей должны быть найдены и соответствующие новые математические методы исследования. Какие же требования должны быть в первую очередь предъявлены к этим методам? Понятно, что в первую очередь они должны учитывать то, что изучаемое явление носит массовый характер; таким образом, для этих методов наличие большого числа взаимодействующих частиц должно представлять не дополнительную трудность, а облегчать изучение возникающих закономерностей. Далее, недостаточность знаний о природе и строении частиц, а также о характере их взаимодействия также не должна ограни-
чиватъ эффективности их применения. Этим требованиям лучше всего удовлетворяют методы теории вероятностей.
Чтобы сказанное не было понято ошибочно, мы еще раз подчеркнем следующее обстоятельство. Говоря, что аппарат теории вероятностей лучше приспособлен для изучения молекулярных явлений, мы ни в какой мере не хотим сказать, что философские предпосылки использования теории вероятностей в естествознании лежат в ’’недостаточности знаний”. Основной принцип состоит в том, что при изучении ”м а с с о в ы х” явлений возникают своеобразные новые закономерности. При изучении явлений, обусловленных действием большого числа молекул, учет свойств каждой молекулы не нужен. Действительно, при изучении явлений природы необходимо отвлекаться от учета несущественных подробностей. Рассмотрение же всех деталей, всех существующих связей, в том числе и несущественных для данного явления, приводит лишь к тому, что само явление затемняется и овладение им отодвигается ввиду такой искусственной усложненной обстановки.
Насколько удачно произведена схематизация явлений, насколько удачно выбран математический аппарат для его изучения, мы можем судить по согласию теории с опытом, с практикой. Развитие естествознания, в частности физики, показывает, что аппарат теории вероятностей оказался весьма хорошо приспособленным к изучению многочисленных явлений природы.
Указанная связь теории вероятностей с потребностями современной физики лучше всего поясняет те причины, в силу которых в последние десятилетия теория вероятностей превратилась в одну из наиболее быстро развивающихся областей математики. Новые -теоретические результаты открывают новые возможности для естественнонаучного использования метода теории вероятностей. Всестороннее изучение явлений природы толкает теорию вероятностей на разыскание новых закономерностей, порождаемых случаем. Теория вероятностей не отмежевывается от запросов других наук, а идет в ногу с общим развитием естествознания. Понятно, что сказанное не означает, что теория вероятностей является лишь вспомогательным средством для решения тех или иных практических задач. Наоборот, следует подчеркнуть, что за последние три десятилетия теория вероятностей превратилась в стройную математическую дисциплину с собственными проблемами и методами доказательств. В то же время выяснилось, что наиболее существенные проблемы теории вероятностей служат делу решения различных задач естествознания.
Мы определили в самом начале теорию вероятностей как науку, изучающую случайные явления. Отложив выяснение смысла понятия ’’случайное явление (событие)” до первой главы, мы сейчас ограничимся несколькими замечаниями. Если в обыденных представлениях, в житейской практике
считается, что случайные события представляют собой нечто крайне редкое, идущее вразрез установившемуся порядку вещей, закономерному развитию событий, то в теории вероятностей мы откажемся от этих представлений. Случайные события, как они понимаются в теории вероятностей, обладают рядом характерных особенностей; в частности, все они происходят в массовых явлениях. Под массовыми явлениями мы понимаем такие, которые имеют место в совокупностях большого числа равноправных или почти равноправных объектов и определяются именно этим массовым характером явлений и лишь в незначительной мере зависят от природы составляющих объектов.
Теория вероятностей, подобно другим разделам математики, развилась из потребностей практики; в абстрактной форме она отражает закономерности, присущие случайным событиям массового характера. Эти закономерности играют исключительно важную роль в физике и других областях естествознания, военном деле, разнообразнейших технических дисциплинах, экономике и т.д. В последнее время в связи с широким развитием предприятий, производящих массовую продукцию, результаты теории вероятностей используются не только для браковки уже изготовленной продукции, но, что важнее, для организации самого процесса производства (статистический контроль в производстве). Большое значение в этом круге идей имеет разработка статистических методов управления качеством продукции в процессе производства. Для всего инженерного дела серьезную роль приобрела теория надежности, широко использующая методы теории вероятностей. Здесь уместно заметить, что в свою очередь теория надежности выдвинула перед теорией вероятностей ряд новых теоретических вопросов. Связь теории вероятностей с практическими потребностями, как уже было отмечено, была основной причиной бурного развития ее в последние десятилетия. Многие ее разделы были развиты как раз в связи с ответами на запросы практиков. Здесь кстати вспомнить замечательные слова основателя нашей отечественной школы теории вероятностей П.Л. Чебышева: ’’Сближение теории с практикой дает самые благотворные результаты, и не одна только практика от этого выигрывает; сами науки развиваются под влиянием ее: она открывает им новые предметы для исследования или новые стороны в предметах давно известных. . . Если теория много выигрывает от новых приложений старой методы или от новых развитий ее, то она еще более приобретает открытием новых метод, и в этом случае наука находит себе верного руководителя в практике”.
СЛУЧАЙНЫЕ СОБЫТИЯ И ИХ ВЕРОЯТНОСТИ
§ 1. Интуитивные представления о случайных событиях
На протяжении длительного времени человечество изучало и использовало для своей деятельности лишь так называемые детерминистические закономерности. Подавляющая часть сведений, получаемых учащимися в школьных курсах физики, математики, химии, относится именно к этому кругу идей. Приведем примеры.
Если в основании пирамиды находится квадрат со стороной ди ее высота равна h, то объем пирамиды равен - a2h.
Если тело свободно падает на земную поверхность, то путь, пройденный им за / секунд после начала падения, равен s = gl2 /2.
Если химически чистую воду при атмосферном давлении 760 мм рт. ст. нагреть до 100 °C, то вода начнет превращаться в пар.
При любых химических реакциях каких угодно веществ без обмена с окружающей средой общее количество вещества остается неизменным (закон сохранения вещества).
Число подобных примеров можно увеличивать неограниченно. Однако закономерности этого типа не в состоянии описать все разнообразие ситуаций, с которыми приходится сталкиваться в научной и практической деятельности. Для примера спросим себя: сколько дорожных происшествий произойдет завтра в Москве? Сколько вызовов от больных поступит в пункт скорой медицинской помощи? Сколько лет проживет только что родившийся младенец? Как много времени придется затратить на поиск неисправности в определенном сложном техническом устройстве? Все эти вопросы обладают одной особенностью — на них невозможно дать однозначного ответа, поскольку процессы, с которыми они связаны, по самому их существу лишены полной определенности. Действительно, дорожные происшествия зависят от огромного числа причин, которые невозможно предусмотреть: погода, состояние дорожного покрытия, освещенность, психологическое состояние водителей и пешеходов, взаимное расположение автомобилей на дороге и множество других. Аналогичные заключения мы можем высказать и относительно остальных предложенных нами вопросов.
Во всех подобных случаях мы говорим, что интересующее нас событие является случайным.
Поскольку случайные события врываются в нашу жизнь помимо нашего желания и постоянно окружают нас и, более того, поскольку все явления природы, согласно современным воззрениям, являются случайными, необходимо научиться их изучать и разработать для этой цели методы их изучения.
Сейчас уместно подчеркнуть, что со случайными явлениями мы вынуждены сталкиваться не время от времени, а постоянно и зачастую именно они определяют структуру того или иного интересующего нас процесса. Так, при организации работы телефонной станции необходимо учитывать, что моменты поступления вызовов от абонентов, так же как и длительности разговоров между абонентами, случайны. В грузовой морской порт суда дальнего плавания поступают не точно по расписанию, а в моменты времени, нередко существенно отличные от запланированных. Точно так же длительность погрузо-разгрузочных работ (обработки судна) коренным образом зависит не только от погрузочных средств причала, но и от устройства трюма, характера и количества прибывших грузов, их упаковки и многих других обстоятельств. Таким образом, как при организации работы телефонной станции, так и при организации работы грузового порта, мы должны считаться с, так сказать, двойной случайностью -- случайностью поступления требовании (вызовов абонентов, прибытия судов) на обслуживание и случайностью длительности их обслуживания. Мы видим, таким образом, что случайные события играют большую роль как в научных исследованиях, так и в практической деятельности. Более того, нередко при проектировании ответственных сооружений (телефонных узлов, морских портов и т.д.) мы должны опираться на эти случайные явления. Это обстоятельство привело к тому, что за последние три столетия, и в особенности за последние десятилетия, случайные явления были подвергнуты систематическому исследованию. Краткий исторический очерк этого процесса приложен в конце настоящей книги.
Прежде чем переходить к изложению основных результатов теории вероятностей, мы должны формализовать те понятия, с которыми она имеет дело. Пока же понятие ’’случайного” явления имеет лишь чисто описательный, интуитивный и весьма расплывчатый облик. Мы увидим, что теория вероятностей занимается изучением не любых событий, которые в житейской практике называются случайными, а только тех из них, которые обладают определенными свойствами.
Прежде всего, она ограничивается изучением лишь тех событий, которые в принципе могут быть осуществлены неограниченное число раз, притом в неизменных условиях. Приведем примеры. Игральная кость может быть подброшена в одних и тех же условиях столько раз. сколько заблагорас-
судится нам, исследователям. Мы можем производить неограниченно большое число наблюдений за числом вызовов абонентов телефонной сети, поступающих за четверть часа дневного времени. Выходные дни и ночные часы мы при этом исключим из рассмотрения, поскольку могут возникнуть опасения, что условия формирования потока вызовов в эти дни и часы будут отличны от будней.
Далее, теория вероятностей занимается лишь теми событиями, которые обладают так называемой статистической устойчивостью или, иначе, устойчивостью частот. Это требование к случайным событиям следует рассмотреть более подробно.
Представим себе, что производится последовательность испытаний, в каждом из которых может появиться, а может и не появиться некоторое событие А. Эти испытания производятся в одинаковых условиях, и результаты одних испытаний не оказывают влияния на результаты других (как говорят, испытания независимы). Обозначим через д число появлений события А в каких-то п заранее назначенных номерах испытаний, например в п последовательных испытаниях; тогда частота, т.е. отношение д jn при больших и для статистически устойчивых событий А близка к постоянной и лишь слегка изменяется от одной серии в п испытаний к другой.
Проверка статистической устойчивости представляет собой довольно Сложную задачу, и сейчас мы не станем ею заниматься. Позднее же к этому вопросу мы будем возвращаться неоднократно.
Теперь подчеркнем ту мысль, что теория вероятностей не занимается изучением уникальных событий, которые не допускают повторений. Так, не имеет смысла говорить о том. какова вероятность, что данный студент сдаст экзамен по теории вероятностей на ближайшей экзаменационной сессии, поскольку здесь речь идет о единичном событии, повторить которое в тех же самых условиях нет возможности. Мы можем об этом событии высказывать лишь некоторые субъективные суждения, основанные на нашем знакомстве со знаниями этого студента. Теория же вероятностей ставит перед собой задачу изучения объективных закономерностей, которые не зависят от субъективных суждений того или иного лица. И как бы ни были интересны вопросы, касающиеся единичных, неповторимых событий, теория вероятностей к ним не имеет отношения, если только относительно них нет возможности провести длительные независимые испытания в одинаковых условиях. Так, все следующие высказывания —
6 августа 1999 г. в Термезе произойдет землетрясение силой в 8 баллов;
к двухтысячному году будут найдены радикальные методы излечения всех форм рака;
в 1989 г. родится поэт, по таланту равный АС. Пушкину - носят характер уникальности, и ответ на них будет получен (положительный или отри-
цатеЛьный) в свое время. Пока же эти события носят неопределенный характер. И хотя они относятся к категории “может произойти, а может и не произойти”, к Ним понятия и методы теории вероятностей не имеют отношения.
Теория вероятностей изучает лишь такие случайные события, в отношении которых имеет смысл Не только утверждение об Их случайности, но И возможна объективная оценка доли случаев их появления. Эта оценка может быть выражена предложением вида:
Вероятность того, что при осуществлений определенного комплекса условий 6 произойдет событие А, равна рЛ)
Закономерности такого рода называются стохастическими или вероятностными. С ними приходится иметь дело в самых разнообразных ситуациях, связанных с изучением как природных, так и общественных Явлений, а также в самых разнообразных прикладных вопросах.
Для примера, пусть у нас имеется некоторое техническое устройство, скажем, электрическая лампочка. Нас интересует вопрос: проработает ли она безотказно 1500 часов? Заранее мы Не можем ответить ни утвердительно, ни отрицательно. Для этого у нас нет данных. Но мы можем И должны ответить иначе, что доля тех лампочек ИЗ большого числа находящихся в одинаковых условиях эксплуатаций, которые проработают по. меньшей мере 1500 часов, равна р. Эта величина существенно зависит от того, на каком предприятии изготовлена лампочка и, безусловно, от Того, В каких условиях ей приходится работать (исправность проводки и патрона, размеры колебаний Напряжения и силы тока и пр.).
Конечно, каждая электрическая лампочка индивидуальна по своим Качествам, но этих лампочек изготовляется очень много и испытать Можно большое их число, притом изготовленных в одних и тех же производственных условиях. Мы встречаемся, таким образом, с повторением испытаний двух различных типов:
повторение испытаний для одного и того Же объекта изучения (Повторное извлечение шара из урны, содержащей несколько одинаковых шаров; извлечение наудачу карты из Полной колоды и т.д.);
испытание многих сходных объектов. Именно по этому образцу на заводах производится испытание качества изготовленной продукции.
Формулировка детерминистических закономерностей, к которым все мы привыкли со школьных лет, звучит так:
При каждом осуществлений комплекса условий 6 обязательно происходит событие А.
В следующем параграфе мы увидим, что вероятность случайного события измеряется числом, заключенным между 0 и 1. Единице соответству-
*) Мы пока не даем определения понятия вероятности и полагаемся на имеющиеся у читателей интуитивные представления.
ют те события, которые обязательно наступают при каждом осуществлении комплекса ©. Такие события называются достоверными. Если же событие невозможно, то ему соответствует вероятность 0. Мы видим, что детерминистические закономерности можно рассматривать как частный случай стохастических, для которых вероятность р равна 0 или 1. Таким образом, стохастические закономерности являются более широкими, чем детерминистические, и позволяют точные, количественные методы применять и в тех случаях, когда о классическом детерминизме не может быть и речи.
Каждый исследователь, имеющий дело с применениями теории вероятностей к физике, биологии, инженерному делу, организации производства или любой другой конкретной области знания, исходит в своей работе из убеждения, что вероятностные суждения выражают определенные объективные свойства реальных явлений. Поэтому утверждение, что при выполнении некоторого комплекса условий © событие А имеет вероятность р, имеет серьезное познавательное значение. Оно указывает на наличие определенной, хотя и своеобразной, но от этого не менее объективной связи между комплексом условий © и событием А. Даже только утверждение, что вероятность событиях при осуществлении комплекса условий© существует (хотя и неизвестна), является содержательным утверждением, нуждающимся в объективном обосновании и последующей проверке, если оно принято в качестве гипотезы. Философская задача состоит в выяснении природы этой связи. Ее решению посвящено большое число исследований, но задача до сих пор еще остается не решенной. Трудность этой проблемы привела к тому парадоксальному результату, что даже среди ученых, стоящих на материалистических философских позициях, встречается стремление не найти положительное ее решение,а снять ее,объявив вероятностные суждения имеющими отношение только к состоянию познающего субъекта (измеряющими степень его уверенности в наступлении событиях и дающими основания для приписывания равных вероятностей исходов испытания при полном незнании). В последнее время такие субъективистские выводы нередко делаются по поводу событий, происходящих в условиях неопределенности, как теперь принято говорить.
2. Поле событий. Классическое определение вероятности
Мы до сих пор не давали формализованного определения ни случайного события, ни его вероятности. Теперь приступим к этому, стремясь одновременно воспитать у читателей теоретико-вероятностную интуицию. Такая цель заставляет нас вводить определение вероятности постепенно, как бы повторяя исторический путь. Такой подход позволяет избежать формального восприятия, а отправляясь от простейших представлений, постепенно переходить к более сложными общим.
Начнем с так называемого классического определения вероятности. При этом мы увидим, что оно в действительности является не определением, а скорее методом вычисления вероятностей во вполне определенных и сильно ограниченных условиях. Классическое определение исходит из предположения равновозможности как объективного свойства изучаемых явлений, основанного на их реальной симметрии. Понятие равновозможности (равновероятности) является первичным, не подлежащим формальному определению. Оно лишь поясняется рядом простых и доступных примеров.
При бросании на плоскость геометрически правильного куба, изготовленного из однородного материала, любая из шести граней (при подбрасывании наудачу) не имеет реальных преимуществ перед другими. Таким образом, если перенумеровать грани цифрами от 1 до 6, то при бросании куба могут произойти шесть равновероятных событий: выпадение граней 1,2, 3, 4, 5, 6.
При подбрасывании однородного по плотности правильного двадцатигранника (икосаедра) выпадение каждой грани в силу симметрии одинаково возможно. Мы имеем случай, когда возможны двадцать равновероятных исходов. Представим себе теперь, что при каждом испытании единственно возможны п несовместимых и равновозможных исходов Et, Ег, ... ,Еп.
Слово ’’несовместимый” было введено в науку английским ученым Байесом (1702—1761) и означает, что если наступил какой-нибудь исход Е^, то ни один из остальных п — 1 исходов в этом испытании наступить уже не мог. Так, если при бросании игральной кости выпала грань ”3”, то это означает, что при том же бросании не могла появиться грань ”5”. Каждый такой исход станем называть элементарным событием.
Наряду с элементарными событиями рассматриваются также случайные события. Часто представляет интерес наступление при испытании не какого-то элементарного события, а одного из нескольких определенных элементарных событий. Например, при бросании игральной кости нас может интересовать появление граней с числом очков, больших трех, т.е. появление какого-то из элементарных событий ”4”, ”5”, ”6”. Мы станем говорить в этом случае, что нас интересует случайное событие — выпадение числа очков, больших тре£. Вообще, если нас интересует появление какого-то из определенных элементарных событий, например, одного из событий Е; , Е^, . . . , Ej , то мы станем говорить, что нас интересует наступление случайного события А, состоящего в выпадении какого-то из m только что указанных элементарных событий.
Вероятностью случайного события А называется отношение числа несовместимых равновероятностных элементарных событий, сосгавляющих А (т.е. числа т), к числу всех возможных элементарных событий (т.е. к числу л). Вероятность случайного события А обозначается символом Р(Л).
Согласно только что данному определению
т
Р(Я) = —. п
Например, при однократном бросании игральной кости полная группа попарно несовместимых и равновероятных событий состоит из событий
£lr Ег, Еэ< Е„, Eg, Еь,
которые состоят соответственно в выпадении 1,2, 3,4, 5, 6 очков. Событие
С - Е^ + Ед + £ 6 i
состоящее в выпадении четного числа очков, подразделяется на три частных случая, входящих й состав несовместимых и равновероятных событий. Поэтому вероятность события С равна
Р(0 = 3/6 = 1/2.
Очевидно также, что в силу принятого определения
?(£,)= 1/6,1</<6,
Р^! + Е2) = 2/6= 1/3
и Т.Д.
Рассмотрим теперь бросание двух костей. Если кости правильны, то выпадение каждой из 36 Возможных комбинаций числа очков На первой и второй кости можно считать равновероятными. Тай,- скажем,- вероятность выпадения в сумме 12 очков равна 1/36. Выпадение в сумме 11 очков Возможно двумя способами: на первой кости 5, а на другой 6; на первой кости 6, а на второй 5. Поэтому вероятность выпадений В сумме одиннадцати очков равна 2/36 = 1/18. Читатель легко проверит, что вероятности выпадения той ИЛИ иной суммы очной даются следующей таблицей:
Таблица t
Ййсло очков
Z
3
4 J
5
6
7
Вероятность
1 зГ
2
36
3 зб
4
36
5
36
6
36
ЧИСЛО очков
8
9
10
Н|12
Вероятность
L4
3636
3
36
21
3636
Подсчитаем теперь общее число возможных случайных событий, которое можно образовать из и элементарных. Очевидно, что можно образовать Сн событии, каждое из которых будет содержать по т каких то элементарных событий (1 < m < и). При т = и случайное событие всегда происходит, т.е. оно является достоверным. Всего, таким образом, образовано
S С™ = 2” — 1 событий. Добавим теперь ко всем построенным событиям m= 1
еще одно, которому не соответствует ни одно элементарное событие, т.е. состоящее из'пустого множества элементов. Очевидно, что оно никогда не может наступить (поскольку ему не соответствует ни одно элементарное событие). Это случайное событие носит название невозможного события. Таким образом, всех случайных событий в рассмотренном нами случае будет 2”.
Ближайшие рассмотрения относятся не только к классическому определению вероятности, но и ко всем дальнейшим обобщениям. Будем считать фиксированным комплекс условий в и станем рассматривать некоторую систему 5 событий А, В, С. . . ), каждое из которых должно при каждом осуществлении комплекса ® произойти или не произойти**). Между событиями системы 5 могут существовать известные соотношения, с которыми мы постоянно будем иметь дело и которые поэтому прежде всего изучим.
Если при каждом осуществлении комгшекса условий ®, при котором происходит событие А, происходит и событие В. то мы будем говорить, что А влечет за собой***1 В, и обозначать это обстоятельство символом С:
А СВ
или символом О:
BDA.
Если А влечет за собой В и в то же время В влечет за собой А, т.е. если при каждой реализации комплекса условий © события А и В оба наступают или оба нс наступают, то мы будем говорить, что событиях и 5 равносильны и будем обозначать это обстоятельство символом = :
А = В.
Событие, состоящее в наступлении обоих событий А и В, будем называть произведением событий А и В и обозначать А В.
*' События в дальнейшем обо тачаются лашнскими прописными буквами /1. В. С, D, Е, . . .
**^ Вместо "произойш” говоря, также "появиться”, ’’иметь место’’ или "наступить’’
Событие, состоящее в наступлении хотя бы одного из событий А и В, будем называть суммой событий Л иВ и обозначать Л + В.
Событие, состоящее в том, что событие Л происходит, а событие В не происходит, будем называть разностью событий А и В и обозначать А— В.
Событие, состоящее в том, что событие А не происходит, называется противоположным для А и обозначается символом А.
Пусть, например, комплекс условий ® состоит в том, что внутри квадрата, изображенного на рис. 1, выбирается наудачу точка. Обозначим через Л событие ’’выбранная точка лежит внутри левого круга" и через В событие "выбранная точка лежит внутри правого круга". Тогда события А, А, В, В, А + В, АВ, А - В, В - А, А - В состоят в попадании выбранной точки внутрь областей, заштрихованных на соответствующих фигурах рис. 1.
Рассмотрим другой пример. Допустим, что комплекс условий 6 состоит в том, что на стол бросается (один раз) игральная кость. Обозначим через А
ААА-ЯА-Я
А
А
А-Я
А-Я
выпадение на верхней грани кости*) шести очков, через В — выпадение трех очков, через С — выпадение какого-либо четного числа очков, через D — выпадение какого-либо числа очков, кратного трем. Тогда события А, В, CwD связаны следующими соотношениями:
А С С, А С D, BCD,
A+B=D, CD=A.
Определение суммы и произведения двух событий обобщается на любое число событий:
А + В+ ...+ N
обозначает событие, заключающееся в наступлении хотя бы одного из событий А, В,. .. , N, а
АВ.. . N
обозначает событие, заключающееся в наступлении всех событий А, В,.. . , N.
Событие называется достоверным, если оно с необходимостью должно произойти (при каждой реализации комплекса условий S). Например, при бросании двух игральных костей достоверно, что сумма очков будет не меньше двух.
Событие называется невозможным, если оно заведомо не может произойти (ни при одной реализации комплекса условий 6). Например, при бросании двух игральных костей невозможно появление суммы очков, равной тринадцати.
Очевидно, что все достоверные события равносильны между собой. Поэтому законно обозначать все достоверные события одной буквой. Мы будем употреблять для этого букву О. Все невозможные события тоже равносильны между собой. Мы будем обозначать любое невозможное событие знаком ф. _
Два события А и А называются противоположными, если для них одновременно выполняются два соотношения:
А + А = S2, ' АА = ф.
Например, если при бросании одной игральной кости С обозначает выпадение четного числа очков, то
П-С = С
есть событие, состоящее в выпадении нечетного числа очков.
В Японии изготовляют теперь кости не юлько в виде кубов, но также в виде доле к ведро в и икосаедров.
Два события А и В называются несовместимыми, если их совместное появление невозможно, т.е. если
АВ = ф.
Если
А = Вг * Вг + ... + Вп
и события Вг попарно несовместимы, т.е.
В (В, = ф при / Ф/,
то говорят, что событие А подразделяется на частные случаи В\, Вг,. .. , Вп. Например, при бросании игральной кости событие С, состоящее в выпадении четного числа очков, подразделяется на частные случаи Ег,Е*,Еь, состоящие соответственно в выпадении 2, 4 и 6 очков.
События Вх, Вг, ■ - - ,Вп образуют полную группу событий, если хотя бы одно из них непременно должно произойти (при каждом осуществлении комплекса ®), т.е. если
Вх + Вг + . • • + Вп = Л.
Особенно существенны для нас в дальнейшем будут полные группы попарно несовместимых событий. Такова, например, при однократном бросании игральной кости система событий
Ех, Ег, Е3, Е,. Е5, Е6,
состоящая, соответственно, в появлении 1,2, 3, 4, 5 и 6 очков.
В каждой задаче теории вероятностей приходится иметь дело с каким-либо определенным комплексом условий ® и с какой-либо определенной системой -S событий, наступающих или не наступающих после каждой реализации комплекса условий ®. Относительно этой системы целесообразно сделать следующие допущения:
если системе S принадлежат события А и В, то ей принадлежат также события АВ, А + В, А - В;
система S содержит достоверное и невозможное события.
Система событий, удовлетворяющая этим допущениям, называется полем событий.
Заметим еще в заключение, что во всех рассмотрениях теории вероятностей равносильные между собой события могут заменять друг друга. Поэтому мы условимся в дальнейшем любые два равносильных события считать просто тождественными друг другу.
Рассмотрим какую-либо полную систему G попарно несовместимых равновозможных событий (назовем их элементарными событиями):
ЕХ1Ег....,Еп,
и рассмотрим систему событий S, состоящую из невозможного события ф.
всех событий Ек системы G и всех событий Л, которые могут быть подразделены на частные случаи, входящие в состав системы G.
Например, если система G состоит из трех элементарных событий Ех, Е2, И £з, то в систему 8 входят события ф,Еъ Е2, Ез, Ei + Ег, Ег + Ез, Е\ + Ез, £1~Е« + Ег * Е2,'
Легко установить, что система 8 есть поле событий. В самом деле, очевидно, что сумма, разность и произведение событий из 8 входят в 5; невозможное событие ф входит в 8 по определению, а достоверное событие Я входит в S’ так как оно представляется в виде
£2 ’ Ех + Е2 + ... + Еп.
В соответствии с приведенным определением каждому событию Л, принадлежащему к построенному сейчас полю событий 8, приписывается вполне определенная вероятность
Р(Л) = т/п,
где т есть число тех событий Е( исходной группы G, которые являются частными случаями события Л. Таким образом, вероятность Р(Л) можно рассматривать как функцию от события А, определенную на поле событий S.
Функция эта обладает следующими свойствами:
Для каждого события А поля 8
Р(Л)>0.
Для достоверного события £2
P(Q)= 1.
Если событие А подразделяется на частные случаи В и С и все три события А, Ви С принадлежат полю S, то
Р(Л) = Р(В) + Р(С).
Это свойство называется теоремой сложения вероятностей.
Свойство 1 очевидно, так как дробь ш]п не может быть отрицательной. Свойство 2 не менее очевидно, так как достоверному событию £2 благоприятствуют все п возможных результатов испытания, и поэтому
P(Q) = h/h = 1.
Докажем свойство 3. Пусть событию В благоприятствуют m , а событию С - тп" событий Ej системы G. Так как события В и С по допущению несовместимы, то события Ej, благоприятствующие одному из них, отличны от событий Е;, благоприятствующих другому. Всего, таким образом, имеется m + m событий Ej, благоприятствующих появлению одного из событий В
или С, т.е. благоприятствующих событию В + С = А. Следовательно, т + т"тт"
Р(Л) = =+ = Р(Д) + Р(С),
ппп
что и требовалось доказать.
Мы ограничимся здесь указанием еще нескольких свойств вероятности.
Вероятность события А, противоположного событию А, равна
Р(А) = 1 -Р(Л).
Действительно, так как
А + А = £2
то, согласно уже доказанному свойству 2,
Р(Л +Л)= 1,
а так как событиях и Л несовместимы, то по свойству 3
Р(Л+Л) = Р(Л) + Р(Л).
Два последних равенства доказывают наше предложение.
Вероятность невозможного события равна нулю.
В самом деле, события Q и ф несовместимы, поэтому
Р(Я) + Р(ф) = Р(П),
откуда следует, что
Р(Ф) = 0.
Если событие А влечет за собой событие В, то
Р(Л)<Р(Д).
Действительно, событие В может быть представлено как сумма двух событий Л и АВ. Отсюда в силу свойств 3 и 1 получаем:
Р(Д) = Р(Л + ЛД) = Р(Л) + Р(АВ) > Р(Л).
Вероятность любого события заключена между нулем и единицей. Из того, что для любого события А имеют место соотношения
фСА + ф = А =ЛПС Я,
следует в силу предыдущего свойства, что имеют место неоавенства
О =Р(ф)<Р(Л)<Р(П)= 1.
§ 3. Примеры
Мы рассмотрим теперь несколько примеров вычисления вероятностей событий, пользуясь классическим определением вероятности. Приводимые нами примеры носят исключительно иллюстративный характер и не претендуют на то, чтобы сообщить читателю все основные методы расчета вероятностей.
Пример 1. Бросаются три игральные кости. Что вероятнее: получить в сумме выпавших очков 11 или 12?
Эта задача, как это видно из исторического дополнения, была одной из первичных, на которой формировались понятия и методы теории вероятностей. Утверждают, что с ней связана и следующая легенда: однажны к Галилею (а кто говорит, что к Гюйгенсу) за консультацией обратился ландскнехт. Его интересовал именно предложенный нам вопрос. Ландскнехт оказался мыслящим человеком, склонным к теоретическому и экспериментальному мышлению. Он заявил Галилею, что согласно логике обе эти суммы должны появляться одинаково часто, но опыт учит другому, а именно, что сумма 11 появляется чаще, чем 12. В чем здесь дело?
. Обоснование ландскнехта на первый взгляд звучит убедительно: числа 11 и 12 оба могут быть разложены на сумму трех положительных слагаемых лишь шестью различными способами, а именно,
11=1+5+5=1+4+6=2+3+6=2+4+5=
= 3 + 3 + 5= 3 + 4+4;
12=1+5+6=2+4+6=2+5+5=3+4+5=
= 3 + 3 + 6 = 4 + 4 + 4;
отсюда по его мнению вытекает равновозможность обоих интересующих нас событий.
Однако Галилей возразил ему. сказав, что каждое из этих разложений следует снабдить еще определенным весом и пояснил свою мысль таким рассуждением. Назовем кости "первой”, ’’второй” и ’’третьей”; тогда разложение 1+5 + 5 на самом деле может произойти не одним, а тремя различными способами:
1+5+5=5+1+5=5+5+1,
т.е. единица может выпасть на первой, второй или третьей кости. Точно также разложение 1+4+6 может произойти следующими шестью различными способами:
1+4+6 si+6+4=4+1+6=4+6+1= = 6+ 1 +4 = 6 + 4+ 1.
Таким образом, 11 в сумме может появиться не шестью, а 27 различными равновозможными способами. Сумма же 12, оказывается, разлагает-
ся лишь 25 различными способами. Здесь все дело в том, что разложение 4 + 4 + 4 осуществимо лишь одним способом.
Теперь заметим, что общее число всех возможных равновероятных выпадений трех игральных костей равно 6Э = 216. Это было правильно подсчитано еще в XII веке.
Обозначим через А и В случайные события, состоящие в выпадении соответственно 11 и 12 очков в сумме. Тогда согласно данному нами классическому определению вероятности,
Р(Л) = 27/216 и Р(5) = 25/126.
В математической статистике показывается, что для уверенного разделения двух вероятностей, отличающихся менее чем на одну сотую, нужно произвести много тысяч испытаний.
Пример 2. Из колоды карт (36 карт) наудачу вынимаются три карты. Найти вероятность того, что среди них окажется точно один туз.
Решение. Полная группа равновероятных и несовместимых событий в нашей задаче состоит из всевозможных комбинаций по три карты, их число равно Сзб- Число благоприятствующих событий можно подсчитать следующим способом. Один туз мы можем выбрать С 4 различными способами, а две другие карты (не тузы) можно выбрать Сз2 различными способами. Так как для каждого определенного туза две остальные карты могут быть выбраны Сз2 способами, то всего благоприятствующих случаев будет С4 • С32 • Искомая вероятность, таким образом, равна
432-31
С]>-С2з211-231-16496
р =-^- ===^ 0,2778,
С^636-35-3435-3-171785
1-2-3
т.е. немного больше 0,25.
Пример 3. Из колоды карт (36 карт) наудачу вынимаются три карты. Найти вероятность того, что среди них окажется хотя бы один туз.
Решение. Обозначим интересующее нас событие буквой А: оно может быть представлено в виде суммы трех следующих несовместимых событий: At — появление одного туза, Л2 — появления двух тузов, А3 — появления трех тузов.
Рассуждениями, аналогичными тем, которые мы привели при решении предыдущей задачи, легко установить, что число случаев, благоприятствующих
событию А( равно С4 • Сз2,
” Аг ” С^-С^,
”^3”С34-С°32.
Так как число всевозможных случаев равно С з 6, то
Р(И,) =Р(И,) =С^-С232СзьС^-С232Сзь16-313 ■ 35 • 1716-313 ■ 35 • 170,2778,0,2778,Р(И2) =Р(И2) =СзбСзб3- 163-35-173- 163-35-170,0269,0,0269,PU3) =PU3) =ch chСзьch chСзь13 ■ 3513 ■ 35— = 0,0006.17— = 0,0006.17
Р(И,) =
Р(И,) =
С^-С232Сзь
С^-С232Сзь
16-31
3 ■ 35 • 17
16-31
3 ■ 35 • 17
0,2778,
0,2778,
Р(И2) =
Р(И2) =
Сзб
Сзб
3- 16
3-35-17
3- 16
3-35-17
0,0269,
0,0269,
PU3) =
PU3) =
ch ch
Сзь
ch ch
Сзь
1
3 ■ 35
1
3 ■ 35
— = 0,0006.
17
— = 0,0006.
17
В силу теоремы сложения
109
Р(Л) = Р(Л)) + PU2) + Р(Лз) = ™-- = 0,3053.
Этот пример можно решить и иным методом. Событие А, противоположное А, состоит в том, что среди вынутых карт не окажется ни одного туза. Очевидно, что три нетуза можно вынуть из колоды карт С32 различными способами и, следовательно,
31 • 83-17-731 • 83-17-7= 0,6947.= 0,6947.Ch 32-31-30
31 • 8
3-17-7
31 • 8
3-17-7
= 0,6947.
= 0,6947.
А )-:
С31636-35-34
Иск. 1 -ая вероятность равна
Р(Л)= 1 -Р(Я) = 0,3053.
Примечание. В обоих примерах выражение ’’наудачу” означало, что всевозможные комбинации по три карты равновероятны.
Пример 4. Рассмотрим теперь пример, который широко используется при проверке качества принимаемой продукции. В математическом отношении он близок к примеру 2.
В урне находится N одинаковых по размеру и внешнему виду шаров; среди них М белых и N - М черных. Наудачу вынимаются п шаров (без возвращения в урну). Чему равна вероятность того, что среди них окажется т белых?
Из условия задачи ясно, что мы предполагаем выполнение неравенств т < » и т СМ, а также // - т CN - М.
Общее число всех равновероятных случаев, как легко понять, равно С^ . Число благоприятствующих случаев подсчитаем следующим путем: различных способов извлечь т белых шаров имеется С^, а п - т черных — CN_M. Таким образом общее число благоприятных равновозможных
Таблица 2
Номер испыта- i
НИЙ|
Число красных карт
Число благопр. случаев
Частота
Номер испытаний
Число красных карт
Число благопр. случаев
Частота i i
1
8
0
0,00
51
9
13
0.25
2
9
1
0.50
52
8
13
0,25
3
11
1
0,33
53
7
13
0,25
4
9
2
0.50
54
9
14
0,26
5
И
2
0,40
55
7
14
0.26
6,
8
2
0.33
56
9
15
0,27
7
11
2
0.29
57
9
16
0,28
8
9
3
0,37
58
1 1
16
0.28
9
8
3
0.33
59
8
16
0.27
10
7
3
0.30
60
8
16
0,27
11
12
3
0.27
61
8
16
0.26
12
10
3
0.25
62
10
16
0,26
13
9
4
0.31
63
12
16
0.25
14
13
4
0.29
64
9
17
0,27
15
12
4
0.27
65
11
17
0,26
16
8
4
0.25
66
12
17
0.26
17
11
4
0.23
67
11
17
0,26
18
10
4
0.22
68
8
17
0.25
19
8
4
0.21
69
10
17
0,25
20
И
4
0.20
70
8
17
0.25
21
12
4
0.19
71
7
17
0.24
22
10
4
0.18
72
9
18
0.25
23
10
4
0.17
73
10
18
0.25
24
9
5
0.21
74
8
18
0,24
25
9
6
0.24
75.
11
18
0.24
„т т
случаев равно См - CN _ м . Отсюда искомая вероятность т п-т
Р ~ ~М •
С д/
Пример 5. Колоду карт, состоящую из 36 карт, наудачу разделяют на две равные части. Чему равна вероятность, что в обеих частях окажется п о равному числу красных и черных карт.
Выражение ’’наудачу” означает, что всевозможные разделения колоды на две равные части равновероятны.
Решение. Нам нужно найти вероятность того, что среди наудачу вынутых из колоды 18 карт 9 будут красными и 9 — черными. Согласно при-
Номер испытаний
Число красных карт
Число благопр. случаев
Частота
Номер испытаний
Число красных карт
Число благопр. случаев
Частота
26
14
6
0,23
76
8
18
0.24
27
9
7
0.26
77
9
19
0.25
28
10
7
0,25
78
9
20
0,26
29
10
7
0.24
79
5
20
0.26
30
7
7
0,23
80
8
20
0,25
31
10
7
0.22
81
7
20
0,25
32
7
7
0.22
82
10
20
0,24
33
8
7
0.21
83
9
21
0,25
34
10
7
0,21
84
6
21
0,24
35
9
8
0,23
85
10
21
0,25
36
9
9
0.25
86
10
21
0,24
37
10
9
0,24
87
9
22
0,25
38
10
9
0.24
88
7
22
0,25
39
8
9
0,23
89
7
22
0,25
40
7
9
0.22
90
10
22
0,24
41
9
10
0.24
91
8
22
0,24
42
10
10
0,24
92
8
22
0,24
43
10
10
0.23
93
10
0.24
44
9
11
0,25
94
8
22
0.23
45
8
11
0.24
95
И
22
0,23
46
7
11
0,24
96
9
23
0.24
47
12
11
0.23
97
9
24
0,25
48
9
12
0,25
98
10
24
0.25
49
6
12
0.25
99
7
24
0,24
50
7
12
0.24
100
7
24
0,24
меру 4 искомая вероятность равна, следовательно, /-*9/^ 9
1)8 I 1 8
Р гЛ 8
L36
(18!)4
36!(9!)4
Чтобы составить себе представление о величине этой вероятности и при этом не Производить утомительных вычислений, мы воспользуемся формулой Стирлинга, согласно которой имеет место следующее асимптотическое равенство:
п\ ~ xfbin пне п.
Б.В. Гнеденко
Таким образом, имеем: 18! ~ 1818е-18у/2тг- 18, 9!~9’Л/2Г9, З6!-З636 - e"36V2Tr • 36, и значит,
(х/2л- 18- 1818 -е'18)4 р *—■■——
хД^ЗЬЗб36 ■ ^(V^t7^7 9’ • е"9)4
После несложных преобразований находим, что
24
р ^ ^ ^ 0 об.
х/18я15
Естественно возникает вопрос: какое отношение имеют найденные вероятности к реальным явлениям? Чтобы наглядно это ощутить, на одной из лекций был проведен такой эксперимент: студенты принесли несколько колод карт по 36 карт каждая и затем сто раз было произведено разделение колод наудачу на две равные части. В таблице 2 приведены результаты этого эксперимента. В первом столбце указан номер испытания, во втором — число появившихся в одной из полуколод красных карт, в третьем — число случаев деления красных и черных карт пополам среди уже произведенных испытаний и, наконец, в четвертом столбце даны значения частот.
Приводимый на рис. 2 график наглядно представляет изменение частоты р/п в зависимости от числа испытаний. Вначале, когда число опытов невелико, ломаная линия порой значительно уклоняется от прямой у = р = 0,26.
Рис. 2
Затем с увеличением числа опытов ломаная в общем все ближе и ближе подходит к этой прямой.
Пример 6. Имеются и частиц, каждая из которых может находиться
с одной и той же вероятностью — в каждой из W(W> и) ячеек. Найти N
вероятность того, что: 1) в определенных и ячейках окажется по одной частице, 2) в каких-то и ячейках окажется по одной частице.
Решение. Эта задача играет важную роль в современной статистической физике, и в зависимости от того, как образуется полная группа равновероятных событий, приходят к той или иной физической статистике: Больцмана, Бозе—Эйнштейна, Ферми—Дирака.
В статистике Больцмана равновероятными считаются любые мыслимые размещения, отличающиеся не только числом, но и индивидуальностью частиц: в каждой ячейке может помещаться любое число частиц от 0 до п.
Общее число возможных размещений мы подсчитаем следующим способом: каждая частица может находиться в каждой из N ячеек, следовательно, и частиц можно разметить по ячейкам Nn различными способами.
В первом вопросе число благоприятствующих случаев будет, очевидно, и! и, значит, вероятность того, что в определенные и ячеек попадет по одной частице, равна
Во втором вопросе число благоприятствующих случаев будет в с” раз больше и, значит, вероятность того, что в какие-то и ячеек попадет по одной частице, равна
С” - и! ТУ!
Рг Nn Nn(N - п)'. '
В статистике Бозе—Эйнштнейна считаются тождественными случаи, когда частицы меняются местами между ячейками (важно только, сколько частиц попало в ячейку, но не индивидуальность попавших частиц), и полная группа равновероятных событий состоит из всевозможных размещений и частиц по N ячейкам, причем за одно размещение принимается целый класс больцмановских размещений, отличающихся не числами содержащихся в определенных ячейках частиц, а только самими частицами. Для наглядного представления о различии статистик Больцмана и Бозе—Эйнштейна рассмотрим частный пример: N = 4, п = 2. Всевозможные размещения в этом примере можно записать в виде следующей таблицы, в которой а и b - наименования частиц. В статистике Больцмана все 16 возможностей представляют собой различные равновероятные события, в статистике же
?*
Бозе—Эйнштейна случаи 5 и 11,6 и 12,7 и 13,8 и 14,9 и 15, 10 и 16 попарно отождествляются и мы имеем группу из 10 равновероятных событий.
Вычислим теперь общее число равновероятных случаев в статистике Бозе—Эйнштейна. С этой целью заметим, что всевозможные размещения частиц по ячейкам мы можем получить следующим путем: расположим ячейки на прямой вплотную друг к другу, расположим далее рядом одну возле другой на той же прямой наши частицы. Рассмотрим теперь всевозможные перестановки частиц и перегородок между ячейками. Таким образом, как легко сообразить, будут учтены всевозможные заполнения ячеек, отличающихся как порядком расположения частиц в ячейках, так и порядком расположения перегородок.
Число этих перестановок равно (W + п — 1)!. Среди этих перестановок имеются и тождественные: каждое распределение по ячейкам считается (N — 1)! раз, так как мы различали, какие перегородки были между ячейками, а кроме того, каждое распределение по ячейкам мы снова считали по п\ раз, так как мы учитывали не только число частиц в ячейке, но и то, какие это частицы и в каком порядке они расположены. Таким образом, каждое распределение по ячейкам мы считали n'.(N— 1)! раз, отсюда число различных в смысле Бозе—Эйнштейна размещений частиц по ячейкам равно
(и+vV — 1)!
и !(7V — 1) ! '
Таким образом, число равновероятных событий в полной системе событий нами найдено. Теперь мы легко можем ответить на вопросы нашей задачи. В статистике Бозе-Эйнштейна вероятности р] ир2 равны
1n'AN- 1)!
р = =,
(/!+^-l)!(и+W-l)!
n'AN- 1)!
CnN'yN-\y.
p = .
^+^-1)! (N- n)'. (N + n - 1)!
n'.(N — 1)!
Рассмотрим, наконец, статистику Ферми—Дирака, Согласно этой статистике в ячейке может находиться либо одна частица либо не находится ни одной: индивидуальность частиц уничтожается.
Общее число различных размещений частиц по ячейкам в статистике Ферми—Дирака подсчитать легко: первая частица может быть расположена N различными способами, вторая — только N — 1, третья — (/V — 2) и, наконец, и-я — (W — и + 1) различными способами. Таким образом, и частиц по N ячейкам могут быть расположены
N'.
(TV - и).
различными равновероятными способами.
Легко сообразить, что в статистике Ферми—Дирака искомые вероятности равны
(N - и)!
~7V!
Рз = 1-
Рассмотренный пример показывает, насколько важно точно определять, какие события считаются в задаче равновероятными.
Пример 7. У театральной кассы стоят в очереди 2л человек. Среди них п человек имеют монеты только рублевого достоинства, а остальные — только монеты по 50 копеек. Билет стоит 50 копеек. Каждый покупатель приобретает по одному билету. В начальный момент в кассе нет денег. Чему равна вероятность того, что ни один покупатель не будет ждать сдачу?
Эта задача является переформулировкой вопроса, который возник при изучении проблем управления качеством продукции в процессе производства.
Всевозможные расстановки покупателей равновероятны. Таким образом имеется С2„ всех возможных равновероятных случаев. Для разыскания числа благоприятствующих случаев прибегнем к следующему геометрическому приему. Рассмотрим плоскость хОу и допустим, что покупатели в порядке очередности располагаются в точках оси абсцисс с координатами 1, 2, .... 2л. В начале координат распогюжена касса. Припишем каждому лицу, имеющему рубли, значение +1, а имеющему полтинники - значение —1. Будем теперь суммировать последовательно эти значения слева
направо и в каждой целочисленной точке отмечать в виде ординаты полученную сумму (рис. 3). Припишем началу координат ординату, равную 0. Соединим концы ординат ломаной и назовем ее траекторией. Ясно, что она на концах отрезка (0, 2л)'имеет ординаты, равные 0.
Каждой траектории поставлено в соответствие определенное расположение лиц с рублями и полтинниками. Интересующему нас событию благоприятствуют те и только те траектории, которые не поднимаются над осью абсцисс.
Вычислим теперь общее число траекторий, достигающих или пересекающих хотя бы раз прямую у = 1. Эти и только эти траектории благоприятствуют противоположному событию, когда хотя бы одному лицу
Рис. 3
придется ожидать сдачу. Для этой цели построим новую, фиктивную траекторию. До первого достижения прямой у = 1 она совпадает со старой, а от точки достижения этой прямой она является зеркальным отображением старой траектории относительно прямой у = 1 (на рис. 3 — пунктирная ломаная). Каждая новая траектория начинается в точке (0, 0) и заканчивается в точке (2л, 2). Отсюда вытекает, что единичных подъемов она имеет больше, чем спусков (именно: л + 1 подъем и и — 1 спуск). Отсюда следует, что всех новых траекторий будет С^п . Значит число событий благоприятствующих событию нашей задачи, будет с”„ — С^п 1 и тем самым искомая вероятность равна
,, «1
р = 1„— = 1=.
С2„ и + 1п+1
Геометрические вероятности
Еше в самом начале развития теории вероятностей была замечена недостаточность ’’классического” определения вероятности, основанного на рассмотрении конечной группы равновероятных событий. Уже тогда частные примеры привели к некоторому видоизменению этого определения и построению понятия вероятности также для случаев, когда мыслимо беско-
нечное множество исходов. При этом по-прежнему основную роль играло понятие ’’равновероятности” некоторых событий.
Общая задача, которая ставилась и привела к распространению понятия вероятности, может быть сформулирована следующим способом.
Пусть имеется, например, на плоскости некоторая область Сив ней содержится другая область g с квадрируемой границей. В область G наудачу бросается точка и спрашивается, чему равна вероятность того, что точка попадет в область g. При этом выражению ’’точка бросается наудачу в область G” придается следующий смысл: брошенная точка может попасть в любую точку области G, вероятность попасть в какую-либо часть области G пропорциональна мере этой части (длине, площади и т.д.) и не зависит от ее расположения и формы.
Таким образом, по определению, вероятность попадания в область g при бросании наудачу точки в область G равна
mesg р = .
mes G
Рассмотрим несколько примеров.
Пример 1. Задача о встрече. Два лица А и В условились встретиться в определенном месте между 12 часами и часом. Пришедший первым ждет другого в течение 20 минут, после чего уходит. Чему равна вероятность встречи лиц А и В, если приход каждого из них в течение указанного часа может произойти наудачу и моменты прихода независимы ).
Решение. Обозначим моменты прихода лица А через х и лица В через у. Для того чтобы встреча произошла, необходимо и достаточно, чтобы
\х-у к20.
Станем изображать х и у как декартовы координаты на плоскости; в качестве единицы масштаба выберем минуту. Всевозможные исходы изобразятся точками квадрата со сторонами 60; благоприятствующие встрече — расположатся в заштрихованной области (рис. 4).
Искомая вероятность равна) отношению площади заштрихованной фигуры к площади всего квадрата:
602 - 402 _ 5
Р' 6029 '
Некоторые инженеры-исследователи применяли задачу о встрече к решению следующей проблеме организации производства. Рабочий обслуживает несколько однотипных станков, каждый из которых в случайные моменты времени может потребовать внимания рабочего. Может случиться, что в то время, когда рабочий занят у одного станка, потребовалось его вмешательство у других станков. Требуется найти вероятность этого события, т.е., иными словами, среднюю длительность ожидания станком рабочего (иначе говоря, простой станка). Заметим, однако, что схема задачи о
встрече мало пригодна для решения этого производственного вопроса, так как никакого условленного времени, в течение которого станки обязательно требуют к себе внимания рабочего, не существует, а длительности операции рабочего у станка не постоянны. Помимо этой основной причины, нужно указать на сложность вычислений в задаче о встрече для случая большого числа лиц (станков). А эту задачу нередко нужно решать для большого числа станков (в текстильном производстве, например, некоторые ткачихи брали на обслуживание по несколько десятков станков).
Пример 2. Коэффициенты р и q квадратного уравнения
х2 + рх + q = О
выбираются наудачу в промежутке (0, 1). Спрашивается, чему равна вероятность того, что корни будут действительными числами?
Чтобы корни квадратного уравнения были действительными числами, необходимо и достаточно выполнение неравенства рг > Aq. В прямоугольных декартовых координатах (рис. 5) множество всех возможных пар чисел (р, q) задается точками квадрата с вершинами (0, 0), (0, 1), (1,1), (1, 0). Точки же, благоприятствующие нашему событию, лежат под пара-
болои q = — р. Таким образом, согласно определению, искомая 4
вероятность равна
1 12 ‘
Задачи, подобные только что рассмотренной, нашли интересные применения в теории-чисел и в ряде научных и технических применений.
Пример 3. Парадокс Бертрана. Теория геометрических вероятностей неоднократно подвергалась критике за произвольность определения вероятности событий. При этом авторы приходили к убеждению, что для бесконечного числа исходов нельзя дать объективного, на зависящего от способа расчета, определения вероятности. В качестве особенно яркого выразителя этого скептицизма можно привести французского математика прошлого века Жозефа Бертрана. В своем курсе теории вероятностей он привел ряд задач на геометрические вероятности, в которых результат зависел от метода решения. В качестве примера приведем одну из задач, рассмотренных Бертраном.
Наудачу берется хорда в круге. Чему равна вероятность того, что ее длина превосходит длину стороны вписанного равностороннего треугольника?
Решение 1. По соображениям симметрии можно заранее задать направление хорды. Проведем диаметр, перпендикулярный к этому направлению. Очевидно, что только хорды, пересекающий диаметр в промежутке от четверти до трех четвертей его длины, будут превосходить стороны правильного треугольника. Таким образом, искомая вероятность равна 1/2.
Решение 2. По соображениям симметрии можно заранее закрепить один из концов хорды на окружности. Касательная к окружности в этой точке и две стороны правильного треугольника с вершиной в этой точке образуют три угла по 60°. Условию задачи благоприятствуют только хорды, попадающие в средний угол. Таким образом, при этом способе вычисления искомая вероятность оказывается равной 1/3.
Решение 3. Чтобы определить положение хорды, достаточно задать ее середину. Чтобы хорда удовлетворяла условию задачи, необходимо чтобы ее середина находилась внутри круга, концентрического данному, но половинного радиуса. Площадь этого круга равна одной четверти площади данного; таким образом, искомая вероятность равна 1/4.
Мы должны теперь выяснить, в чем причина неоднозначности решения нашей задачи. Лежит ли причина в принципиальной невозможности определить вероятность для случаев бесконечного числа возможных исходов или же причина лежит в том, что мы приняли в процессе решения какие- либо недопустимые предпосылки.
Дело, как легко усмотреть, заключается в том, что за решение одной и той же задачи, пользуясь тем, что в условии задачи не определено понятие проведения хорды наудачу, выдаются решения трех различных задач. В самом деле, в первом решении вдоль одного из диаметров заставляют катиться круглый цилиндрический стержень (рис. 6а). Множество всех возможных мест остановки этого стержня есть множество точек отрезка АВ длины, равной диаметру. Равновероятными считаются события, состоящие в том, что остановка произойдет в интервале длины к, где бы внутри диаметра ни был расположен этот отрезок. Во втором решении стержень, закрепленный на шарнире, расположенном в одной из точек окружности, заставляют совершать колебания размером не более 180° (рис. 66). При этом предполагается, что остановка стержня внутри дуги окружности длины к зависит только от длины дуги, но не от ее положения.Таким образом, равновероятными событиями считаются остановки стержня в любых дугах окружности одинаковой длины. Несогласованность определений вероятности в первом и во втором решениях становится совершенно очевидной после такого простого расчета. Вероятность того, что стержень остановится в промежутке от А до х, согласно первому реше- х
нию равна —. Вероятность того, что проекция точки пересечения стержня с окружностью во втором решении попадает в тот же интервал, как
Рис. 6Рис. 6
Рис. 6
Рис. 6
показывают элементарно геометрические подсчеты, равна
1 2х - D
1 — — arccosпри х > Dll яD
и
1 D- 1х
— arccos —-при х < D/1.
Наконец, в третьем решении мы бросаем наудачу точку внутрь круга и спрашиваем себя о вероятности попадания внутрь некоторого меньшего концентрического круга (рис. 6 в).
Различие постановок задач во всех трех случаях совершенно очевидно.
Пример 4. Задача Б ю ф ф о н а. Плоскость разграфлена параллельными прямыми, отстоящими друг от друга на расстоянии 2а. На плоскость наудачу) бросается игла длины 2Z (Z < а). Найти вероятность того, что игла пересечет какую-нибудь прямую.
Решение. Обозначим через х расстояние от центра до ближайшей параллели и через ср—угол, составленный иглой с этой параллелью. Величины х и ср полностью определяют положение иглы. Всевозможные положения иглы определяются точками прямоугольника со сторонами а и я. Из рис. 7 видно, что для пересечения иглы с параллелью необходимо и достаточно, чтобы
х < Z sin ср.
Искомая вероятность в силу сделанных предположений равна отношению площади заштрихованной на рис. 8 области к площади прямоугольника
1 "2Z
р =— J Zsincpdcp= — . ан оал
Заметим, что задача Бюффона является исходным пунктом для решения некоторых проблем теории стрельбы, учитывающих размеры снаряда.
П р и м е р 5. На горизонтальную плоскость, разграфленную параллельными прямыми, отстоящими друг от друга на расстоянии 2а, нау-
дачу) брошен выпуклый контур, диаметр которого меньше 2а. Найти вероятность того, что контур пересечет одну из параллельных прямых.
Решение. Положим сначала, что выпуклый контур является мною- угольником с п сторонами. Пусть его стороны пронумерованы от номера 1 до номера п. Если многоугольник пересекается с какой-либо параллельной прямой, то это пересечение должно произойти по каким-либо двум сторонам. Обозначим через р,у = рц вероятность того, что пересечение произойдет по ;-й и /-й сторонам. Очевидно, что событие А, состоящее в том, что брошенный многоугольник пересечет одну из параллельных прямых, может быть представлено в виде следующей суммы попарно несовместимых событий:
А = (Л12 + Л13+...+Л1п) +
"*" (Л2 3 "*"■'42 4 + • • • + Ain) "*" • -. + (Ап_2,п — 1 "*" Лп_ z,»)"*"^» — i,n>
где через Ац (z < /, z = 1, 2,... ; / = 1, 2,...) обозначено событие, состоящее в пересечении с параллельной прямой z'-й и /-Й сторон. По теореме сложения вероятностей
Р = Р(Л) = [Р(Л ! 2 ) + Р(Л13) + • • - + Р(Л1П)] +
+ [Р(Л2з)+ • • • + Р(Л2П)] + • ■ • + Р(Л„_1,п) =
= (Р12 + Р13 +. - .+Pln) + (P23 +Р24 + . . .+р2п)+ ■ .*Рп-1,п-
Пользуясь равенством р^ = Рц, мы может записать вероятность р иным способом:
Р = ~ [(Р12 + Р13 + ■ • • +Р1п)+ (Р2 1 +Р2 3 + • - • +Р2п)+ • • •
• • • + (Рп1 + Рп2 + • ■ • + Pn,n-1)L
И
Но сумма S'p,j, где положено pi{ = 0, представляет собой не что иное, /= 1
как вероятность пересечения ьй стороны многоугольника с одной из параллельных прямых. Если длину z-й стороны обозначить через 2/,-,то из задачи Бюффона находим, что
и,следовательно, и
i= 1
Р = '
2 та
Если обозначить через 2s периметр многоугольника, то мы найдем, что
s
Р =—• па
Мы видим, таким образом, что вероятность р не зависит ни от числа сторон, ни от величины сторон многоугольника. Отсюда мы заключаем, что найденная формула верна и для любого выпуклого контура, так как мы всегда можем рассматривать этот последний как предел выпуклых многоугольников с безгранично возрастающим числом сторон.
§5.0 статистической оценке неизвестной вероятности
Классическое определение вероятности при переходе от простейших примеров к рассмотрению сложных задач, в особенности же задач естественнонаучного или технического характера, наталкивается на непреодолимые трудности принципиального порядка. Прежде всего, в большинстве случаев возникает вопрос о возможности нахождения разумного способа выделения ’’равновозможных случаев”. Так, например, из соображений симметрии, на которых основаны наши суждения о равновероятности событий, вывести вероятность распада атома радиоактивного вещества за определенный промежуток времени, или же определить вероятность того, что родившийся ребенок окажется мальчиком, представляется невозможным. В этих случаях еще на заре возникновения теории вероятностей был замечен иной способ приближенной оценки неизвестной вероятности случайного события.
Длительные наблюдения над появлением или непоявлением события А при большом числе независимых испытаний, производимых при одном и том же комплексе условий ©, в ряде случаев показывают, что число появлений события А подчиняется устойчивым закономерностям. А именно, если мы через р обозначим число появлений события А при и независимых испытаниях, то оказывается, что отношение р/n (частота события Л) при достаточно больших и для большинства таких серий наблюдений сохраняет почти постоянную величину, причем большие отклонения наблюдаются тем реже, чем многочисленнее произведенные испытания. Более того, оказывается, что для тех случаев, к которым применимо класси-
ческое определение вероятности, это колебание частоты происходит около вероятности события р. Мы увидим впоследствии, что этот эмпирический факт имеет глубокие основания в теореме Бернулли. То, что при большом числе испытаний частота события остается почти постоянной, дает нам возможность расширить круг явлений, для которых мы будем говорить об их вероятности.
Представим себе, что относительно события А принципиально возможно проведение неограниченной последовательности независимых друг от друга испытаний в неизменных условиях 6. Если в результате достаточно многочисленных наблюдений замечено, что частота события А ведет себя достаточно правильно и почти всегда колеблется около некоторой, вообще говоря, неизвестной, постоянной, то мы скажем, что это событие имеет вероятность.
За численное значение этой вероятности может быть приближенно при большом числе и независимых испытаний, производящихся в неизменных условиях 6, принята частота события А.
Однако испытания позволяют нам делать заключения и иного характера. Представим себе, что некоторые соображения дают нам основание считать, что вероятность некоторого события А равна р. Пусть, далее, при проведении нескольких серий независимых испытаний оказалось, что частоты в подавляющем числе серий значительно отклоняются от величины р. Это обстоятельство дает нам основание высказать сомнение относительно правильности наших априорных суждений и предпринять более детальное исследование тех предпосылок, из которых мы исходили
0,5 0,48250,5 0,4825
0,5 0,4825
0,5 0,4825
Рис. 9
в своих априорных выводах. Так, например, в отношении некоторой игральной кости мы делаем предположения о ее геометрической правильности и однородности материала, из которого она изготовлена. Из этих предварительных предпосылок мы вправе сделать вывод, что при бросании кости вероятность выпадения некоторой грани, например, грани с номером 5, должна быть равна 1/6. Если неоднократные серии достаточно многочисленных испытаний (бросаний) в нашем примере систематически показывают, что частота появления этой грани значительно отличается
Таблица 4
Месяц
1
2
3
4
5
6
7
Всех
7280
6957
7883-
7884
7892
7609
7585
Мальчиков
3743
3550
4017
4173
4117
3944
3964
Девочек
Частота рождения
3537
3407
3866
3711
3775
3665
3621
девочек
0,486
0,489
0,490
0,471
0,478
0,482
0,462
Месяц
8
9
10
11
12
За год
Всех
7393
7203
6903
6552
7132
88 273
Мальчиков
3797
3712
3512
3392
3761
45 682
Девочек
Частота рождения
3596
3491
3391
3160
3371
42 591
девочек
0,484
0,485
0,491
0,482
0,473
0,4825
от 1/6, то мы усомнимся не в существовании определенной вероятности выпадения этой грани, а в наших предпосылках о правильности кости или в правильности организации процесса наших испытаний (бросаний).
В качестве иллюстрации почти постоянства частот при больших числах испытаний рассмотрим распределение новорожденных по полу по месяцам. Данные заимствованы из книги Г. Крамера ’’Математические методы статистики” и представляют собой официальные данные шведской статистики за 1935 г.
На рис. 9 показано уклонение частоты рождений девочек по месяцам от частоты рождений девочек за год.
Заметим, что в случае статистического определения снова имеют место такие свойства вероятности:
вероятность достоверного события равна единице;
вероятность невозможного события равна нулю;
если случайное событие С является суммой конечного числа несовместимых событий Л^,Д2,..., Ап, имеющих вероятность, то его вероятность существует и равна сумме вероятностей слагаемых
Р(0 = Р(Л1) + Р(Л2)+... + Р(Л„).
В заключении мы должны остановиться на весьма распространенной, в особенности среди естествоиспытателей, концепции вероятности, данной Р. Мизесом. Согласно Мизесу раз частота по мере увеличения числа опытов
все меньше и меньше уклоняется от вероятности р,то в пределе должно быть
р = lira — . п-” и
Это равенство Мизес предлагает считать определением понятия вероятности. По его мнению, любое априорное определение обречено на неудачу и лишь данное им эмпирическое определение способно обеспечить интересы естествознания, математики и философии, причем раз классическое определение имеет лишь весьма ограниченное применение, а статистическое определение применимо ко всем имеющим научный интерес случаям, то классическое определение через равновозможность, основанную на симметрии, Мизес предлагает вовсе отбросить. Более того, Мизес считает вообще ненужным выяснение структуры явлений, для которых вероятность является объективной числовой характеристикой, для него достаточно наличия эмпирической устойчивости частоты.
Мы не будем останавливаться на деталях теории Мизеса, в частности, на тех ограничениях и условиях, которые он дополнительно накладывает на последовательность испытаний. За подробностями теории мы отошлем читателя к его книге ’’Вероятность и статистика”. В то же время его положения не были безоговорочно приняты наукой. Критические замечания в развернутом виде изложены в статье А.Я. Хинчина*).
В концепции Мизеса вероятность теряет свой характер объективной числовой характеристики некоторых реальных явлений. Действительно, до производства бесконечного числа испытаний нельзя даже говорить про вероятность того или иного события, а поскольку этого нельзя осуществить, то и вообще мы лишены возможности в каких-либо условиях использовать теорию вероятности. Следует заметить при этом, что, требуя от частот сходимости к вероятносте, Мизес выставляет такое требование, какого не предъявляют ни в одной области естествознания. Ведь в самом деле. никто из нас не откажется от понятия температуры только потому, что мы не можем произвести бесконечного числа измерений и не можем проверить, будут ли результаты этих измерений стремиться к пределу, если бы мы их все же стали производить. Или не станем же мы говорить, что какой-либо предмет не имеет размеров только потому, что последовательность наших измерений не стремится к пределу. Более того, следуя за Мизесом, мы вообще не можем говорить о температуре тела или о существовании размеров предмета до тех пор, пока не появится мыслящий субъект, не начнет производить измерения и не убедится в том, что их результаты стремятся к пределу.
В историческом очерке, помещенном в конце книги, отмечено, что как классическое определение вероятности, так и статистическое были впервые четко сформулированы Я. Бернулли
■§ 6. Аксиоматическое построение теории вероятностей
До недавнего времени теория вероятностей представляла собой еще не сложившуюся математическую науку, в которой основные понятия были недостаточно четко определены. Эта нечеткость приводила нередко к парадоксальным выводам (вспомним парадоксы Бертрана). Естественно, что приложения теории вероятностей к изучению явлений природы были слабо обоснованы и встречали порой резкую и обоснованную критику. . Нужно сказать, что эти обстоятельства мало смущали естествоиспытателей и их наивный теоретиковероятностный подход в различных областях науки приводил к крупным успехам. Развитие естествознания в начале текущего столетия предъявило к теории вероятностей повышенные требования. Возникла необходимость в систематическом изучении основных понятий теории вероятностей и выяснении тех условий, при которых возможно использование ее результатов. Вот почему особенно важное значение приобрело формально-логическое обоснование теории вероятностей, ее аксиоматическое построение. При этом в основу теории вероятностей как математической науки должны быть положены некоторые предпосылки, являющиеся обобщением многовекового человеческого опыта. Дальнейшее же ее развитие должно строиться посредством дедукции из этих основных положений без обращения к наглядным представлениям, к выводам ’’согласно здравому смыслу”. Иными словами, теория вероятностей должна строиться из аксиом так же, как любая сформировавшаяся математическая наука — геометрия, теоретическая механика, абстрактная теория групп и т.д.
Впервые такая точка зрения была высказана и развита в 1917 г. советским математиком С.Н. Бернштейном. При этом С.Н. Бернштейн исходил из качественного сравнения случайных событий по их большей или меньшей вероятности.
Имеется иной подход, предложенный А.Н. Колмогоровым. Этот подход тесно связывает теорию вероятностей с современной метрической теорией функций, а также теорией множеств. Настоящая книга следует пути, предложенному Колмогоровым.
Мы увидим, что аксиоматическое построение основ теории вероятностей отправляется от основных свойств вероятности, подмеченных на примерах классического и статистического определений. Аксиоматическое определение вероятности, таким образом, как частные случаи включает в себя и классическое и статистическое определения и преодолевает недостаточность каждого из них. На этой базе удалось построить логически со-
вершенное здание современной теории вероятностей и в то же время удовлетворить повышенные требования к ней современного естествознания.
Отправным пунктом аксиоматики Колмогорова является множество П , элементы которого называются элементарными событиями. Наряду с П рассматривается множество 3 подмножеств элементарных событий. Множество 5 называется алгеброй множеств, если выполнены следующие требования:
П G 3 , ф G 3 (ф — пустое множество);
из того, что ЯС 9 следует, что так же Л 6 8 ;
из того, что Л G 3 и5е% следует, что
Аuse5, Апде8
Если дополнительно к перечисленным выполняется еще следующее требование
из того, что Л „е 5 (при и =1,2,...) вытекает, что
ил„е5, пл„е5 ип
то множество 3 называется а-алгеброй. Элементы 9 называются случайными событиями.
Под операциями над случайными событиями понимаются операции над соответствующими множествами. В результате можно составить словарь переводов с языка теории множеств на язык теории вероятностей, приводимый нами в табл. 5
Таблица 5
Обозначения
Термины
теории множеств
теории вероятностей
О
Множество, пространство
Пространство элементарных событий, достоверное событие
О?
Элемент множества
Элементарное событие
А, В
Подмножество А, В
Случайное событие А, В
А+В=АиВ
Объединение (сумма) множеств А и В
Сумма случайных событий Лив
АВ = А О В
Пересечение множеств А и В
Произведение событий Л ив
А
Дополнение множества/!
Событие, противоположное для Л
А\В
Разность множеств А и В
Разность событий Л и В
Ф
Пустое множество
Невозможное событие
АВ =А л В = ф^
Множества А ив не пересекаются (не имеют общих элементов)
События Лив несовместимы
А = В
Множества Л ив равны
События Лив равносильны
АсВ
А есть подмножество В
Событие А влечет событие В
Теперь мы можем перейти к формулировке аксиом, определяющих вероятность.
Аксиома 1. Каждому случайному событию А поставлено в соответствие неотрицательное число Р (А), называемое его вероятностью.
Аксиома 2.P(S2) = 1.
Аксиома 3 (аксиома сложени я). Если события A t, А2,...
..., Ап попарно несовместимы, то
Р(А + А2 + .. .+А„) = Р(А^ + Р(А2) + .. .+ Р(А„).
Для классического определения вероятности свойства, выраженные аксиомами 2 и 3, не нужно было постулировать, так как эти свойства вероятности были нами доказаны.
Из сформулированных аксиом мы выведем несколько важных элементарных следствий.
Прежде всего, из очевидного равенства
t2 = ф + Я
и аксиомы 3 мы заключаем, что
Р(П) = Р(ф) + Р(П).
Таким образом,
Вероятность невозможного события равна нулю.
Для любого события А
Р(А) = 1 -Р(А).>
Каково бы ни было случайное событие А,
0<Р(ЛК I.
Если событие А влечет за собой событие В, то
Р(А)<Р(В).
Пусть А и В — два произвольных события. Поскольку в суммах А + В = А + (В - АВ) и В = АВ + (В — АВ) слагаемые являются несовместимыми событиями, то в соответствии с аксиомой 3
Р(А + В) = Р(А) + Р(В - АВ); Р(В) = Р(АВ) + Р(В - АВ).
Отсюда вытекает теорема сложения для произвольных событий А и В Р(А + В) = Р(А) + Р(В) - Р(АВ).
В силу неотрицательности Р(АВ) отсюда заключаем, что
Р(А + В) < Р(А) + Р(В).
По индукции теперь выводим, что если Л1, Л2, . .., Ап — произвольные события, то имеет место неравенство
Р < Av +Л2 + ... +А„ } < Р(Л1) + Р(Л2) + ... + Р(Л„).
Система аксиом Колмогорова непротиворечива, так как существуют реальные объекты, которые всем этим аксиомам удовлетворяют. Например, если за £2 принять произвольное конечное множество с конечным числом элементов J2 = {аь а2, . . . ,а„), за 9 — совокупность всех подмножеств Va^ .а^,..., ais} , 0 <Zj <z2 <.. .<z$ <h,0<s <и, to положив P(zzj) = pi, P(zz2) = p2, . . . P(zz„) = pn, где pi, p2,. . .,p„- произвольные неотрицательные числа, удовлетворяющие равенству рх + р2 + ... ... + рп = 1, a P(a( j, а,2, . . . , а,^ = Рц + . .. + Pis, мы удовлетворим всем аксиомам Колмогорова.
Система аксиом Колмогорова неполна: даже для одного и того же множества Q вероятности в множестве 9 мы можем выбирать различными способами.
Так, в рассмотренном нами примере с игральной костью мы можем положить или
Р(Е1)=Р(Е2)=... = Р(^6)=1/6 (1)
или
Р(^1) = Р(£’2)=Р(^3)= 1/4,
Р(^4) = Р(Д5) = Р(Д6)=1/12(2)
ит.д.
Неполнота системы аксиом теории вероятностей не является свидетельством их неудачного выбора или недостаточной работы мысли при их создании, а вызвана существом дела: в различных задачах могут встретиться явления, при изучении которых требуется рассматривать одинаковые множества случайных событий, но с различными вероятностями. Например, могут встретиться игральные кости, из которых одна правильная (точный куб с одинаковой плотностью в каждой точке), другая неправильная. В первом случае система вероятностей будет задана системой равенств (1), а во втором, скажем, системой (2).
Дальнейшее развитие теории нуждается в дополнительном предположении, которое носит название расширенной аксиомы сложения. Необходимость введения новой аксиомы объясняется тем, что в теории вероятностей постоянно приходится рассматривать события, подразделяющиеся на бесконечное число частных случаев.
Расширенная аксиома сложения. Если событие А равносильно наступлению хотя бы одного из попарно несовместимых событий.
Л2,..., Ап,... ,то
Р(Л) = Р(Ла + Р(Л2)+ ... + PM +
Заметим, что расширенная аксиома сложения может быть заменена равносильной ей аксиомой непрерывности.
Аксиома непрерывности. Если последовательность событий Вх, В2, . . . , Вп,. . . такова, что каждое последующее влечет за собой предыдущее и произведение всех событий Вп есть невозможное событие, то
Р(В„)^0 при п-*°°.
Докажем эквивалентность только что сформулированных предложений.
Из расширенной аксиомы сложения следует аксиома непрерывности. Действительно, пусть событияВх,В2,...,Вп,... таковы, что
Вх D В2 D . . . D BnD . . .
и при любом И > 1
П Вк=ф.(3)
к > п
Очевидно, что
Вп ~ 2 В кВ к +1 + п в к. к = пк = п
Так как события, стоящие в этой сумме, попарно несовместимы, то согласно расширенной аксиоме сложения
Р(В„)= 2 Р(£кДк + 1) + Р( П Вк\ к ~ пк = п
Но в силу условия (3)
Р( П Вк) = 0, к = п
поэтому
Р(£„)= 2 Р(ВкВк + 1), к = п
т.е. Р ^В^ есть остаток сходящегося ряда
2 Р(5к5к + 1) = Р№).
fc = i 1
Поэтому Р (В„) -> 0 при п -^°°.
Из аксиомы непрерывности следует расширенная аксиома сложения. Пусть события Ах, А2,. .. , Ап,... попарно несовместимы и
А = А1 + Л 2 + . .. + Ап + ...
Положим
Вп ~ 2 Ак. к = п
Ясно, что В„+1 С Вп. Если событие Вп наступило, то наступило какое- нибудь из событий A;Q > п) и, значит, в силу попарной несовместимости событий Ак, события А;+х, А1+2,. .. уже не наступили. Таким образом события 5, + i, Bi+2 • • • невозможны, и, следовательно, невозможно собы
тие П Вк. По аксиоме непрерывности Р(В„) -* 0 при п -*°°. Так как к = п
А -Ау + А2 + ... + Ап + Вп + j, то по обычной аксиоме сложения
Р(А) = Р(Ла + Р(Л2) + . . . + Р(Л„) + Р(£п+ а =
= lim S РЦ*)= 2 Р(Ак\
п * к-1к - 1
Мы видим из сказанного, что аксиоматика Колмогорова позволяет строить теорию вероятностей как часть теории меры, а вероятность рас- матривать как неотрицательную нормированную аддитивную функцию множества.
Вероятностным пространством принято называть тройку символов (Q , 3 , Р), где Q — множество элементарных событий, 9 — о-алгебра подмножеств Q , называемых случайными событиями и Р(Л) — вероятность, определенная на а-алгебра 3
Условная вероятность
и простейшие основные формулы
Мы уже говорили, что в основе определения вероятности события лежит некоторая совокупность условий © - Если никаких ограничений, кроме условий ® , при вычислении вероятности Р(Л) не налагается, то такие вероятности называются безусловными.
Однако в ряде случаев приходится рассматривать вероятности событий при дополнительном условии, что произошло некоторое событие В. Такие вероятности мы будем называть условными и обозначать символом Р(Л IS); это означает вероятность события А при условии, что событие В произошло. Строго говоря, безусловные вероятности также являются условными, так
как исходным моментом построенной теории было предположение о существовании некоторого неизменного комплекса условий ®
Пример 1. Брошены две игральные кости. Чему равна вероятность того, что сумма выпавших на них очков равна 8 (событие Л), если известно, что эта сумма есть четное число (событие В)?
Таблица 6
(1,1)
(2,1)
(3,1)
(4,1)
(5,1)
(6,1)
(1,2)
(2,2)
(3,2)
(4,2)
(5,2)
(6,2)
(1,3)
(2,3)
(3,3)
(4,3)
(5,3)
(6,3)
(1,4)
(2,4)
(3,4)
(4,4)
(5,4)
(6,4)
(1,5)
(2,5)
(3.5)
(4,5)
(5,5)
(6,5)
(1,6)
(2,6)
(3,6)
(4,6)
(5,6)
(6,6)
Все возможные случаи, которые могут представиться при бросании двух костей, мы запишем в табл. 6, каждая клетка которой содержит запись возможного события: на первом месте в скобках указывается число очков, выпавших на первой кости, на втором месте — число очков, выпавших на второй кости.
Общее число возможных случаев — 36, благоприятствующих событию Л - 5. Таким образом, безусловная вероятность Р(Л) = 5/36. Если событие В произошло, то осуществилась одна из 18 (а не 36) возможностей и, следовательно, условная вероятность равна Р(Л |S) = 5/18.
Пример 2. Из колоды карт последовательно вынуты две карты. Найти а) безусловную вероятность того, что вторая карта окажется тузом (неизвестно, какая карта была вынута вначале) и б) условную вероятность, что вторая карта будет тузом, если первоначально был вынут туз.
Обозначим через Л событие, состоящее в появлении туза на втором месте, а через В — событие, состоящее в появлении туза на первом месте. Ясно, что имеет место равенство
Л = АВ+АВ.
В силу несовместимости событий АВ и АВ имеем:
Р(Л)=Р(Л£) +Р(Л£).
При вынимании двух карт из колоды в 36 карт могут произойти 36-35 (учитывая порядок!) случаев. Из них благоприятствующих событию АВ -4-3 случаев, а событию АВ -32-4 случая. Таким образом, 4-332-41
Р(А) = + = — .
36-3536-359
Если первая карта есть туз, то в колоде осталось 35 карт и среди них только три туза. Следовательно,
Р(А IS) = 3/35.
Общее решение задачи нахождения условной вероятности для классического определения вероятности не представляет труда. В самом деле, пусть из п единственно возможных, несовместимых и равновероятных событий А у ,Л2,.... Ап
событию Л благоприятствует т событий, В " к ”
” АВ „ г „
(понятно, что г < к, г ^т"). Если событие В произошло, то это означает, что наступило одно из событий А,, благоприятствующих В. При этом условии событию Л благоприятствуют г и только г событий А,, благоприятствующих АВ. Таким образом,
гг/пР(АВ)
кк inр (S)
Понятие независимости событий играет значительную роль в теории вероятностей и в ее приложениях. В частности, большая часть результатов, изложенных в настоящей книге, получена в предположении независимости тех или иных рассматриваемых событий.
В практических вопросах для определения независимости данных событий редко обращаются к проверке выполнения для них равенств (3) и (4). Обычно ддя этого пользуются интуитивными соображениями, основанными на опыте.
Так, например, ясно, что выпадение герба на одной монете не изменяет вероятности появления герба (решки) на другой монете, если только эти монеты во время бросания не связаны между собой (например, жестко не скреплены). Точно так же рождение мальчика у одной матери не изменяет вероятности появления мальчика (девочки) у другой матери. Это события независимые.
Для независимых событий теорема умножения принимает особенно простой вид, а именно, если события Л и Днезависимы,
т о
Р(Л£) = Р(Л) • Р(£).
Точно так же, если Р(Л) > 0, то
Понятно, что если В (соответственно, Л) есть невозможное событие, то равенство (1) (соответственно (1')) теряет смысл.
Заметим, что рассуждения, проведенные нами в примерах 1 и 2, не являются доказательствами, а представляют только мотивировки определений, данных равенствами (1) и (1').
При р(Л)Р(£) > 0 каждое из равенств (1), (1') эквивалентно так называемой теореме умножения, согласно которой
Р(АВ) = Р(А) Р(В 1Л) = Р(В) Р(Л I В),(2)
т.е. вероятность произведения двух событий равна произведению вероятности одного из этих событий на условную вероятность другого при условии, что первое произошло.
Теорема умножения применима и в том случае, когда одно из событий Л или В есть невозможное событие, так как в этом случае вместе с Р(Л) = 0 имеют место равенства Р(Л |S) — 0 и Р(Л£) = 0.
Говорят, что событие Л независимо от события В, если имеет место равенство
Р(Л1£)=Р(Л).(3)
т.е. если наступление события В не изменяет вероятности события Л)
Если событие Л независимо от В, то в силу (2) имеет место равенство
Р(Л) Р(В I Л) = P(S) Р(Л).
Отсюда находим, что
P(S 1Л) = Р(В),(4)
т.е. что событие В также независимо от Л. Таким образом, при сделанном предположении свойство независимости событий взаимно.
Если независимость событий Л и В определить посредством равенства
Р(Л£) =Р(Л) Р(£),
то это определение верно всегда, в том числе и тогда, когда Р(Л) = 0 или Р^ = 0.
Мы обобщим теперь понятие независимости двух событий на совокупность нескольких событий.
События Вх, В2, . . . , В$ называются независимы ми в совокупности, если для любого события Вр из их числа и произвольных В4 , В{ , . . . , . . . , Bir(in Ф р) из их же числа события Вр и В^ В{) . . . Bir взаимно независимы.
В силу предыдущего это определение эквивалентно следующему: при любых 1 Ci'i < i2 < ... < ir <s иг(1 <r <s)
P(S,г вч ... Bir) = P(BZi ) р(в,з)... р(в,г).
Заметим, что для независимости в совокупности нескольких событий недостаточно их попарной независимости. В этом можно убедиться на следующем простом примере. Представим себе, что грани тетраэдра окрашены: 1-я в — красный цвет (Л), 2-я — в зеленый (В), 3-я — в синий (С) и 4-я — во все эти три цвета (АВС). Легко видеть, что вероятность грани, на которую упадет тетраэдр при бросании, в своей окраске иметь красный цвет равна 1/2: граней четыре и две из них имеют в окраске красный цвет. Таким образом,
Р0) = 1/2.
Точно так же можно подсчитать, что
Р(В) = Р(С) = Р(Л I В) = P(Bl 0 = Р(С1 Л) =
= Р(В1Л) = Р(С IB) = Р(Л I 0 = 1/2,
события Л, В, С, таким образом, попарно независимы.
Однако если нам известно, что осуществились события В и С, то заведомо осуществилось и событие Л, т.е.
Р(Л1ВС)= 1.
Таким образом, события Л, В, С в совокупности зависимы.
Формула (1'), которая в случае классического определения была нами выведена из определения условной вероятности, в случае аксиоматического определения вероятности будет взята нами в качестве определения. Таким образом, в общем случае при Р(Л)>0 по определению
Р(ЛВ)
Р(В 1Л) = ——- .
Р(Л)
(В случае Р(Л) = 0 условная вероятность Р(В1Л) остается неопределенной.) Это позволяет нам перенести автоматически на общее понятие вероятности все определения и результаты настоящего параграфа.
Предположим теперь, что событие В может осуществиться с одним и только с одним из п несовместимых событий Л 1; Л2, . . . ,Ап. Иными
словами, положим, что
В= Z ВАЬ(5)
i = 1
где события BAt и ВА; с разными индексами i и / несовместимы. По теореме сложения вероятностей имеем:
Р(В) = 5 Р(ВА£\
i = 1
Использовав теорему умножения, находим, что
п
Р(£)= S P(A)P(BiX,).
i = 1
Это равенство носит название формулы полной вероятност и) и играет основную роль во всей дальнейшей теории.
В качестве иллюстрации рассмотрим два примера.
Пример 1. Имеется пять урн:
2 урны состава Л! — по два белых шара и одному черному,
урна состава Л 2 — по 10 черных шаров,
урны состава Л з — по 3 белых шара и одному черному.
Наудачу выбирается урна и из нее наудачу вынимается шар.
Чему равна вероятность, что вынутый шар белый (событие В) ?
Решение. Так как вынутый шар может быть только из урны 1-го, 2-го или 3-го состава, то
в=л1в+л2в+л3в.
По формуле полной вероятности находим, что
Р(В) = Р(ЛаР(^ 1Ла + Р(Л2)Р(В IЛ2) + Р(Л3) Р(В iЛ3).
Но ясно, что
Р(Ла = 2/5, Р(Л2)=1/5, Р(Л3) = 2/5,
Р(В1Ла = 2/3, Р(В1Л2) = 0, Р(В1Л3) = 3/4.
Таким образом,
Р(В) = 2/5-2/3 + 1/5-0+ 2/5 ■ 3/4 = 17/30.
Пример 2. Известно, что вероятность поступления к вызовов на телефонную станцию за промежуток времени t равна Р,(к) (к = 0,1, 2,...).
Считая, что появления какого-либо числа вызовов за два соседних промежутка времени являются событиями независимыми найти вероятность поступления s вызовов за промежуток времени длительности 2г.
Решение. Обозначим через Ак событие, состоящее в поступлении к вызовов за время от а до а + т. Очевидно, что мы имеем следующее равенство:
4s = A0 4s ++ As A0
Л0, 2 Г ^0,Г, 2Г• • •г,2 t ’
которое означает, что событие А^ 2t можно рассматривать как сумму s + 1 несовместимых событий, состоящих в том, что за первый промежуток времени длительности t поступает i вызовов, а за следующий промежуток той же продолжительности поступает s —i вызовов (i = 0,1, 2,..., s). По теореме сложения вероятностей
^о,2г)- 2 Р(Л' ,А^).
i = О
По теореме умножения вероятностей для независимых событий
р^^^р^ар^).
Таким образом, если положить
р2гО) = р^о.2гХ
то
P2t^ S pt(i).pt(s-iy(6)
i = 0
Впоследствии мы увидим, что при некоторых весьма общих условиях (к = 0,1,2 ...) (at)k ,
Pt^^- e~at,(7)
где а — некоторая константа.
P2t^ 2i = ОP2t^ 2i = О^tye-2atil(s — z)!^tye-2atil(s — z)!Из формулы (6) мы находим, что
P2t^ 2
i = О
P2t^ 2
i = О
^tye-2atil(s — z)!
^tye-2atil(s — z)!
-<atye"2at £^
г = о z!(s - z")!
Ho si 1 s $!i2s
X S= (1 + 1 )s =
z=o z!(s - /)! s ! i = o z’(s - z)! s!s !
Поэтому
<2я^е-га1
($ = 0,1,2, . ..).
Таким образом, если для промежутка времени длительности t имеет место формула (7), то для промежутков времени, в два раза больших, и, как легко убедиться, для любых кратных t промежутков времени характер формулы для вероятности сохраняется.
Мы в состоянии теперь вывести важные формулы Байеса или, как иногда говорят, вероятности гипотез. Пусть попрежне^у имеет место равенство (5). Требуется найти вероятность события А,, если известно, что В произошло. Слогласно теореме умножения имеем:
р(л,в)=p(s) p^lb) = р(ла р(ви а -
Отсюда
Р(Л,|В) =Р(Л,|В) =Р(Л,)Р(5 'А,•)P(S)Р(Л,)Р(5 'А,•)P(S)
Р(Л,|В) =
Р(Л,|В) =
Р(Л,)Р(5 'А,•)P(S)
Р(Л,)Р(5 'А,•)P(S)
используя формулу полной вероятности, находим, что
Р(АдР(В1А;
i 'В).
2 Р(Л;) Р(В \А^ / = 1
Полученные нами формулы носят название формул Байеса). Общая схема применения этих формул к решению практических задач такова. Пусть событие В может протекать в различных условиях, относительно характера которых может быть сделано п гипотез: Ai, А2, . . . ,Ап .По тем или иным причинам нам известны вероятности Р(Л,) этих гипотез до испытания. Известно также, что гипотеза А; сообщает событию В вероятность Р(В1Л,). Произведен опыт, в котором событие В наступило. Это должно вызвать переоценку вероятностей гипотез Л, — формулы Байеса количественно решают этот вопрос.
В артиллерийской практике производится так называемая пристрелка, имеющая своей целью уточнить наши знания относительно условий стрельбы (например, правильность прицела). В теории пристрелки широко используется формула Байеса. Мы ограничимся приведением чисто схематического примера исключительно ради иллюстрации характера задач, решаемых этой формулой.
Пример 1. Имеются пять урн следующего состава:
2 урны (состава Л!) по 2 белых и 3 черных шара,
2 урны (состава Л2) по 1 белому и 4 черных шара,
1 урна (состав Л з) — 4 белых и 1 черный шар.
Из одной наудачу выбранной урны взят шар. Он оказался белым (событие 5). Чему равна после опыта вероятность (апостериорная вероятность) того, что шар вынут из урны третьего состава?
Решение. Согласно предположению
Р(Л,) = 2/5, Р(Л2)=2/5, Р(Л3)=1/5;
Р(5 1Ла = 2/5, Р(Д1Л2)=1/5, Р(Д1Л3) = 4/5.
Согласно формуле Байеса имеем:
Р(Л3)Р(51Л3)
Р (Л з IS) =:- =
’Р(Л1)Р(51Л1) + Р(Л2)Р(Д1Л2) + Р(Лз)Р(51Л3)
14
__ 4 _ 2
Ч2I21410 Т '
. — + — + .
555555
Точно так же находим:
Р(Лц 1Д) = 2/5, Р(Л2 1В) = 1/5.
5 8. Примеры.
Мы приведем несколько более сложных примеров на использование изложенной теории.
Пример 1) . Два игрока Л и В продолжают некоторую игру до полного разорения одного из них. Капитал первого равняется а руб., капитал второго — b руб. Вероятность выигрыша каждой партии для игрока Л равна р, а для игрока В равна q; р + q = 1 (ничьи отсутствуют). В каждой партии выигрыш одного игрока (и, значит, проигрыш другого) равняется
1 рублю. Найти вероятность разорения каждого из игроков (результаты отдельных партий предполагаются независимыми).
Решение. Обозначим через р„ вероятность разорения игрока А, когда он имеет п руб. Очевидно, что искомая вероятность есть ра и что
Ра + Ъ =0, р0 = 1,(1)
поскольку в первом случае игрок А уже сосредоточил в своих руках весь капитал, а во втором он уже ничего не имеет.
Если игрок А имел п руб. перед некоторой партией, то его разорение может осуществиться двумя различными способами: или он очередную партию выиграет, а всю игру проиграет, или он проиграет и партию и игру. По формуле полной вероятности поэтому
Рп ~ Р " Рп +1 "*" 9 " Рп — 1 •
Относительно р„ мы получили уравнение в конечных разностях; легко видеть, что его можно записать в следующем виде:
q(Pn - Pn-i)=P(Pn + i -Рп)-(2)
Рассмотрим сначала решение этого уравнения при р = q = 1/2. При этом допущении
Рп^х "Рп =Рп -Рп-х = • • - = Рх -Ро =с,
где с — постоянная. Отсюда находим, что
Рп = Ро + пс.
Поскольку Ро = 1 и ра + ь = 0, то п
Таким образом, вероятность разорения игрока А равняется
а b
р= 1 — = —— •
а + b а + b
Подобным же путем найдем, что в случае р = 1/2 вероятность разорения игрока В равна
а
4b~ a + b"
В общем случае при р ^ q из (2) находим, что Пи
qn ^^к-Рк_х^ = Рп QP^X -РкУ
к-хк=Х
После сокращений и учета соотношений (1) находим, что Рп+х -Рп = УУрУУр1 - О-
Рассмотрим разность ра+ь -Рп", очевидно, что а+Ъ — 1а +д — 1
Ра+Ъ-Рп- 2 (Рк+1-Рк^= 2 №)ЧР1 - 0 = к=пк=п
_ ^рУ^я/рУ^
Поскольку Ра + Ь =О, то
а так как р0 = 1, то
, „ х ШУ-<я!рУ*Ь
1 = (1 - Pi);;•
i -q/p
Исключив из двух последних равенств величину р^, находим, что
(я/рУ+Ь ~(я/рУ
Рп=;■
№У+Ь - 1
Отсюда вероятность разорения игрока А
_ qa+b-qaqb = _lz^l
Ра qa+b -pa+b \-lp!qy+b
Подобным же путем находим, что вероятность разорения игрока В при p + q равна
1 - (я/рУ
qb = Г '
1 - (д/рУ+
Из этих формул мы можем сделать следующие выводы: если капитал одного из игроков, например В, несравненно больше капитала игрока А, так что практически b можно считать бесконечно большим по сравнению с а, а игроки одинаково искусны, то разорение В практически невозможно. Вывод будет совсем иной, если А играет лучше, чем В, и, значит, р > q. Считая b ~ 00, находим, что
qb ~1 - (q/рУ
И
Ра ~ (q/РУ •
Отсюда мы делаем тот вывод, что умелый игрок даже с малым капиталом может иметь меньше шансов на разорение, чем игрок с большим капиталом, но менее умелый.
К задаче о разорении игрока сводится решение некоторых задач физики и техники.
Пример 2. Найти вероятность того, что станок, работающий в момент t0, не остановится до момента t0 + t, если известно, что 1) эта вероятность зависит только от величины промежутка времени (г0, ?о + f), 2) вероятность того, что станок остановится за промежуток времени Дг пропорциональна Дг с точностью до бесконечно малых высших порядков ) относительно Дг.
Решение. Обозначим вероятность через р(г). Вероятность того, что станок остановится за промежуток времени Дг равна
1 - р(Дг) = дДГ + о(Дг),
где а — некоторая постоянная.
Определим вероятность того, что станок, работавший в момент Го, не остановится до момента г0 + г + Дг. Для осуществления этого события необходимо, чтобы станок не остановился за периоды времени длины г и ДГ; в силу теоремы умножения, таким образом,
р(г + ДГ)=р(г) -р(Дг) =p(r) (1 -аЫ - о(Дг)).
Отсюда
Перейдем теперь к пределу, положив Дг -> 0; из того, что существует предел правой части равенства (3), вытекает, что существует также предел левой части. В результате находим, что
dp^( \
—— = -ар^.
dt
Решение этого уравнения есть функция
p^ = Ce-at,
где С — постоянная. Эта постоянная находится из того очевидного условия, что р(0) = 1, Таким образом,
P^ = e-at.
Первое условие задачи налагает на режим работы станка большие ограничения, однако существуют производства, где оно выполняется с большой степенью точности. В качестве примера можно привести работу автоматического ткацкого станка. Заметим, что к рассмотренной задаче сводится много других вопросов, например, вопрос о распределении вероятностей длины свободного пути молекулы в кинетической теории газов.
Пример 3. При составлении таблиц смертности часто исходят из таких допущений: 1) вероятность того, что некоторое лицо умрет в возрасте от t до t + At равна
p(t, t + Af) = a(t)At + о(Д0,
где a (t) — неотрицательная, непрерывная функция.
считается, что смерть данного лица (или его выживание) за рассматриваемый промежуток (tx, г2) возраста не зависит от того, что было до момента 0,3) вероятность смерти в момент рождения равна нулю.
Исходя из высказанных предположений, найти вероятность смерти лица Л до того, как оно достигнет возраста t.
Решение. Обозначим через тг(г) вероятность того, что лицо А доживет до возраста t, и вычислим тг(f + At). Очевидно, что из допущений, принятых в задаче, вытекает равенство
ir(t + At) = тг (г)тг(г + Дг; t),
где я(г + ДГ; t) обозначает вероятность дожить до возраста t + Дг, если лицо А уже дожило до возраста t. В соответствии с первым и вторым допущениями
xr(t + At; t) = 1 -p(t, t + ДГ) = 1 -a(t)At - о(Д0;
поэтому
ir(t + At) = 7Г(Г)[1 - a(t)At - о(Дг)].
Отсюда находим, что тг(г) удовлетворяет следующему дифференциальному уравнению:
dir(t)
~— = -a(t)ir(t).
dt
Решением этого уравнения при учете третьего условия задачи будет функция
t
-j atz^dz
ТХ^ = 6 °
Вероятность умереть прежде, чем будет достигнут возраст t, таким образом, равна г — / a(z)dz
— я(7) = 1 - е °
При составлении таблиц смертности для взрослого населения нередко пользуются формулой Макегама, согласно которой
a(t) = а + pe7t,
постоянные а, 3,7 ~ положительны). При выводе этой формулы исходили из допущения, что взрослый человек может умереть от причин, не зависящих от возраста, и причин, зависящих от возраста, причем вероятность смерти растет с увеличением возраста в геометрической прогрессии. При таком дополнительном предположении
—at—— (е^Г — 1)
я(О = е 7■
Пример 4. В современной ядерной физике для измерения интенсивности источника частиц используются счетчики Гейгера. Частица, попавшая в счетчик, вызывает в нем разряд, длящийся время т, в протяжение которого счетчик не регистрирует частицы, попадающие в счетчик. Найти вероятность того, что счетчик сосчитает все частицы, попавшие в него за время t, если выполняются следующие условия: 1) вероятность того, что за промежуток времени t в счетчик попадут к частиц, не зависит от того, сколько частиц попало в счетчик до начала этого промежутка; 2) вероятность того, что за промежуток времени от t0 до t0 + t в счетчик попадет к частиц, задается формулой )
(aOke"at
Рк^о- fo + 0~’
к'.
где а — положительная постоянная; 3) т — постоянная величина.
Решение. Обозначим через A (Г) — событие, состоящее в том, что все попавшие за время t в счетчик частицы были сосчитаны; через Sk (г) — событие, состоящее в том, что за время t в счетчик попало к частиц.
В силу первого условия задачи при Г > г
PU(r + A<)} = PU(O}P{5o(4O} +
+ РМ(г-т)}Р{50(т)}Р{51(ДО}+о(Дг),
а при 0 < f < г
pU(r + ДО) = Р{Л(О)Р{5О(ДО) + Р{во(О) + РСВ1(ДО) + о(Д0-
Обозначим для краткости записи я(?) = Р{Л(г)}; тогда на основании второго и третьего условий задачи при 0 < 7 < г
я(7 + ДО = я(0е“аЛг + e-aMQkte-at + о(Дг)
и при t>T
ir(t + ДО = я(0е-аД? + ir(t - T)e^a^raAte~aT + о(Д0 •
Путем перехода к пределу при Дг -* О находим, что при 0 < 7 < т имеет место равенство
dtа при t >dTT(t)dtа при t >dTT(t)= -ая(0+ае“аГ,(4)
dtа при t >dTT(t)
dtа при t >dTT(t)
т — равенство
= -а[я(0 — я(7 - т)е"ат] •(5)
Из уравнений (4) находим, что при 0 < г < т я(0 = e-at(c + at).
Из условия я(0) = 1 определяем постоянную с. Окончательно при 0 < 7 < т u(t) = e-af(l + at).(6)
При т < 7 < 1т вероятность тг(7) определяется из уравнения d-n(t) = -а[я(0-я(г-т)е ат] =
=-а[я(0 - е-а^_т\1 + a(t - г))е-ат] = = -а[я(0 - е-аг(1 + a(z г))1 •
(t ~ 0 \2!)(t ~ 0 \2!)Решение этого уравнения дает нам: я(0 = e-at let +at +
(t ~ 0 \
2!)
(t ~ 0 \
2!)
Постоянное ед может быть найдено из того, что согласно (6) я(т) = е~ат(1 + ат).
Таким образом, Ci = 1Таким образом, Ci = 1я(г) = е atя(г) = е at1 +at +1 +at +и для т< 7 < 2т2!. ’и для т< 7 < 2т2!. ’
Таким образом, Ci = 1
Таким образом, Ci = 1
я(г) = е at
я(г) = е at
1 +at +
1 +at +
и для т< 7 < 2т
2!. ’
и для т< 7 < 2т
2!. ’
Методом полной индукции можно доказать, что для (и — 1)т < f < пт имеет место равенство
я(Г) = е at 5 fc=oя(Г) = е at 5 fc=oak[t - (к - l)r]kк\ak[t - (к - l)r]kк\
я(Г) = е at 5 fc=o
я(Г) = е at 5 fc=o
ak[t - (к - l)r]kк\
ak[t - (к - l)r]kк\
Упражнения
А, В, С - случайные события.
Каков смысл равенств
АВС = А;
А + В + С = А?
Упростить выражения
(А + Д) (В + Q ;
\А +ВНА+В) ; _
(А + В) (А + В) (А + ВУ
Доказать равенства
АВ = А* В;
А + В = АВ',
Аг + Д2 + . . . + Ап = A,Л2. . . Л„;
А. А, . . . А„ = А. + А, + . . . + Ап.
Четырехтомное сочинение расположено на полке в случайном порядке. Чему равна вероятность того, что тома стоят в должном порядке справа налево или слева направо?
Числа 1, 2, 3, 4, 5 написаны на пяти карточках. Наудачу последовательно вынимаются три карточки, и вынутые таким образом цифры ставятся слева направо. Чему равна вероятность того, что полученное таким образом трехзначное число окажется четным?
В партии, состоящей из N изделий, имеются М бракованных. Неудачу выбираются п изделий из этой партии (n < N"). Чему равна вероятность того, что среди них окажутся т бракованных (m < М) ?
Технический контроль проверяет изделия в партии, состоящей из т изделий первого сорта и п изделий второго сорта. Проверка первых b изделий, выбранных из партии наудачу, показала, что все они второго сорта (6 < т). Чему равна вероятность того, что среди следующих двух наудачу выбранных из среды непроверенных изделий по меньшей мере одно окажется также второго сорта?
Пользуясь теоретико-вероятностными соображениями, показать тождество
(Л - а) ... 2 ■ 1_ А(Л - 1) . .. (с + 1)с а(Л - а) ... 2 ■ 1_ А(Л - 1) . .. (с + 1)с а++ и -с) и - ° - D +
(Л - а) ... 2 ■ 1_ А
(Л - 1) . .. (с + 1)с а
(Л - а) ... 2 ■ 1_ А
(Л - 1) . .. (с + 1)с а
+ Л - 1 + (Л - 1) (Д - 2)+
Указание. Из урны, содержащей А шаров и среди них а белых, наудачу вынимаются шары без возвращения. Найти вероятность того, что рано или поздно натолкнутся на белый шар.
Из ящика, содержащего т белых и п черных шаров (т > и), вынимают наудачу один шар за другим. Чему равна вероятность того, что наступит момент, когда число вынутых черных шаров будет равно числу вынутых белых?
Некто написал л адресатам письма, в каждый конверт вложил по одному письму и затем наудачу написал на каждом конверте один из и адресов. Чему равна вероятность того, что хотя бы одно письмо попало по назначению?
В урне имеется п билетов с номерами от 1 до и. Билеты вынимаются наудачу по одному (без возвращения). Чему равна вероятность того, что хотя бы при одном вынимании номер вынутого билета совпадает с номером произведенного испытания?
Из урны, содержащей и белых и п черных шаров, наудачу вынимается четное число шаров (все различные способы вынуть четное число шаров, независимо от их числа, считаются равновероятными). Найти вероятность того, что среди вынутых шаров окажется одинаковое число черных и белых.
Задача кавалера де Мере. Что вероятнее: при бросании четырех игральных костей хотя бы на одной получить 1 или при 24 бросаниях двух костей хотя бы раз получить две единицы?
На отрезок (0, а) наудачу брошены три точки. Найти вероятность того, что из отрезков, равных расстояниям от точки 0 до точек падения, можно составить
треугольник.
Стержень длины I разломан в двух наудачу выбранных точках. Чему равна вероятность того, что из полученных отрезков можно составить треугольник?
На отрезок АВ длины а наудачу бросается точка. На отрезок В С длины b также наудачу бросается точка. Чему равна вероятность того, что из отрезков: 1) от точки Л до первой брошенной точки, 2) между двумя брошенными точками, 3) от второй брошенной точки до точки С можно составить треугольник?
В сфере радиуса R случайно и независимо друг от друга разбросано Д'точек.
Чему равна вероятность того, что расстояние от центра до ближайшей точки будет не менее г?
N
К чему стремится вероятность, найденная в вопросе а), если А и —- -> R
Примечание. Задача заимствована из звездной астрономии: в окрестности Солнца X * 0,0063, если R измерено в парсеках.
События А,, А 2, . . . , А п независимы; Р (А ^ = рк. Найти вероятность
появления хотя бы одного из этих событий,
непоявления всех этих событий,
появления точно одного (безразлично какого) события.
Доказать, что если события А и В несовместимы, Р (А) > 0 и Р (В) > 0, то события А и В зависимы.
Пусть Л,, Л2,. , . ,Л„ - случайные события. Доказать формулу
{
и 1 п
S Ак}= Е Р(Л.) — X Р(Л,-Л/) + k=l J 1=11<К/<л
+ X Р(А,-А/Ак)± . . .±Р(Л,Л2.. .А„). l^KKKn
Посредством этой формулы решить задачи 10 и 11.
Вероятность того, что молекула, испытавшая в момент t = 0 столкновение с другой молекулой и не имевшая других столкновений до момента I, испытывает столкновение в промежуток времени между t и t + ДГ, равна ХДТ + о(ДТ). Найти вероятность того, что время свободного пробега (т.е. время между двумя соседними столкновениями) будет больше t.
Считая, что при размножении бактерий делением (на две бактерии) вероятность бактерии разделиться за промежуток времени Д? равна аМ + о(ДГ) и не зависит от числа предшествующих делений, а также от числа имеющихся бактерий, найти вероятность того, что если в момент 0 была 1 бактерия, то в момент t окажется / бактерий.
ГЛАВА 2
ПОСЛЕДОВАТЕЛЬНОСТЬ НЕЗАВИСИМЫХ ИСПЫТАНИЙ
Вводные замечания
Проведение различного рода испытаний и экспериментов является непременным условием развития науки и прогресса прикладных областей деятельности. Прежде чем внести в регистр новый сорт пшеницы, необходимо произвести многочисленные испытания, которые должны дать убедительные данные о тех или иных преимуществах нового сорта по сравнению с прежними: повышенная урожайность, устойчивость к погодным условиям, более короткие сроки вегетации, устойчивость к заболеваниям и пр. Перед тем как ввести в массовое производство новый тип телевизора (вычислительной машины, станка, самолета и т.д.) производятся представительные испытания на его безотказность в работе, простоту наладки, приспособленность к ремонту, долговечность. Новые методы преподавания и измененное содержание обучения также требуют длительных и представительных наблюдений и экспериментов, которые могли бы продемонстрировать их преимущества. То же самое можно сказать и о проблемах медицины, экономики, организации производства, социальных исследований. Все новое, прежде чем стать достоянием практики, должно быть предварительно тщательно проверено и подтверждено испытаниями, экспериментами и наблюдениями.
Приходится сталкиваться и с другой ситуацией, когда производятся систематические наблюдения за явлениями, происходящими независимо от исследователя. Так, для примера, метеорологи производят наблюдения за числом облачных дней, температурой воздуха в определенные часы суток, его влажностью и пр. Точно также организатор производства наблюдает за производительностью труда при различных формах его организации.
В научной и практической деятельности постоянно приходится проводить многократно повторяющиеся испытания в сходных условиях. Как правило, при этом результаты предшествующих испытаний никак не сказываются на последующих. Очень важен простейший тип таких испытаний, когда в каждом из испытаний некоторое событие А может появиться с одной и той же вероятностью р и эта вероятность остается одной и той же, независимо от результатов предшествующих или последующих испытаний. Этот тип испытаний был впервые исследован знаменитым швейцарским ученым Якобом Бернулли (1654—1705) в произведении ”Ars con-
jectandi” (Искусство предположений), изданном после смерти автора в 1713 г., и потому получил наименование схемы Бернулли. Подробное исследование таких последовательностей испытаний заслуживает внимания как в силу исключительного их значения в теории вероятностей и в приложениях, так и в силу выявившейся в процессе развития теории вероятностей возможности обобщения тех закономерностей, которые впервые были открыты при изучении схемы последовательных независимых испытаний. Многие факты, подмеченные на схеме Бернулли, впоследствии служили путеводной нитью при изучении более сложных схем. Сделанное замечание относится как к прошлому, так и современному развитию теории вероятностей. Мы убедимся в этом на примерах закона больших чисел и теоремы Муавра — Лапласа.
Рассмотрим теперь следующий вопрос: что следует понимать в схеме Бернулли под элементарным событием? Очевидно, что это последовательность наступлений и ненаступлений интересующего нас события А в последовательных испытаниях. Отнесем наступлению события А единицу, а не- наступлению — нуль. Тогда элементарным событием для п испытаний будет последовательность из п нулей и единиц. Например, если п = 3, то все возможные элементарные события записываются следующими тройками названных нами символов: (0,0,0), (0,0,1), (0,1,0), (1,0,0), (0,1,1), (1,1,0), (1,0,1), (1,1,1). Смысл каждой из написанных троек чисел Ои 1 ясен. Первая из перечисленных троек означает, что во всех трех испытаниях событие А не наступило. Вторая тройка означает, что в первых двух испытаниях событие А не наступило, а в третьем — произошло. Легко понять , что множество всех элементарных событий при п испытаниях состоит из 2" элементов.
Теперь мы должны ввести вероятностную меру на множестве элементарных событий. Это делается однозначно. Действительно, вероятность наступления события А в испытании с номером к равна р, а его ненаступления — q = 1 — р. Наступление или ненаступление события А в испытаниях с разными номерами для схемы Бернулли независимы. Значит, в силу теоремы умножения вероятностей, вероятность того, что событие А наступит в т определенных испытаниях (например, в испытаниях с номерами $!, s2, • • • . . . , sm), а при остальных п - т 'не наступит, равна pmqn~m. Эта вероятность не зависит от того, как расположены номера Sy, s2,.. ., sm.
Простейшая задача, относящаяся к схеме Бернулли, состоит в определении вероятности Рп(т^ того, что в и испытаниях событие А произойдет т раз (0 < m < и).
Мы только что нашли, что вероятность того, что событие А наступит в испытаниях с определенными т номерами, а в остальных не наступит равна pmqn~m. По теореме сложения искомая вероятность равна сумме только что вычисленных вероятностей для всех различных способов раз-
мещения т появлений события А и п - т непоявлений среди п испытаний. Число таких способов известно из теории сочетаний, оно равно и!
С„ = и, следовательно,
т'.(п — ту.
Pntm^ C^*pmqn-m (т = 0,1,2,... ,n).(1)
Полученная формула носит наименование формулы Бернулли. Легко заметить, что вероятность PnQn^ равна коэффициенту при хт в разложении бинома (q + рх}п по степеням х. В силу этого свойства совокупность вероятностей Р„ (ти) называют биномиальным законом распределения вероятностей.
Лишь немного изменив проведенные рассуждения легко обобщить полученный результат. А именно, если в каждом испытании может произойти одно и только одно из к событий Аг, А2,..., Ак, испытания независимы и в каждом из них событие А к происходит с вероятностью рк, то вероятность того, что в и независимых испытаниях появятся ту событий Ау,т2 событий А2,, тк событий Ак, равна
P„(mi,m2тк) =; Pt 'Pi " ..-Рк •(1 )
тх \тг! .. . тк\
Легко также убедиться в том, что эта вероятность является коэффициен-
том при Xj ... хк в разложении полинома VP\xx + Ргх2 + • • • . . . + ркхкУ по степеням хь х2,.. . , хк. Естественно, что вероятности (1') называются полиномиальным распределением. Полиномиальные распределения находят применения в естествознании, экономических задачах, инженерном деле.
Так как все возможные несовместимые между собой исходы испытаний состоят в появлении события А 0 раз, 1 раз, 2 раза,. .., п раз, то ясно, что
п
5 Рп(т)=1.
т =0
Это соотношение может быть выведено и без учета теоретико-вероятностных соображений, поскольку по формуле бинома Ньютона
и
S PnQn^ = ^p+qy = \п = \.
т=0
Имея в виду постановку общих задач, относящихся к схеме независимых испытаний, рассмотрим теперь числовые примеры. Встречающиеся в них расчеты мы не станем доводить до окончательного числового результата, поскольку эти подсчеты лучше оставить до того момента, когда будут подготовлены удобные и достаточно точные методы для их осуществления.
Пример 1. Вероятность изделию некоторого производства оказаться бракованным равна 0,005. Чему равна вероятность того, что из 10 000 наудачу взятых изделий бракованных изделий окажется а) равно 40, б) не более 70?
В нашем примере и = 10 000, р = 0,005, поэтому по формуле (1) находим:
а)Р10ооо(40) = С^ооо(0,995)996°(0,005)40.
Вероятность того, что число бракованных изделий окажется не большим 70, равна сумме вероятностей числу бракованных изделий оказаться равным 0,1,2,. . . , 70. Таким образом
7070
б)Р{д<70} = S Р„(ш)= S CToooo0,995looo°-,n0,005m. т=0т=0
Пример 2. Имеются два сосуда А и В, каждый объемом в 1 дм3. В каждом из них содержится по 2,7 • 10*2 молекул газа. Эти сосуды приведены в соприкосновение так, что между ними происходит свободный обмен молекулами, но нет общения с внешней средой. Чему равна вероятность того, что по истечению некоторого времени в одном из сосудов число молекул будет отличаться от числа молекул в другом по меньшей мере на одну десятимиллиардную часть?
Для каждой молекулы вероятность оказаться в определенном сосуде равна половине. Таким образом, как бы производится 5,4 • 1022 испытаний, для каждого из которых вероятность попасть в сосуд А равна 0,5. Пусть р - число молекул, попавших в сосуд А, и, следовательно 5,4 • 1022-д есть число молекул, попавших в сосуд В. Нам нужно определить вероятность того, что
5 4•1022
1м- (5,4-1022-р)|> - -— = 5,4-1012
Иначе говоря, нужно найти вероятность
р = Р{|д —2,7 - 1О22|>2,7 -1012}.
Согласно теореме сложения р = SP„(m), где сумма распространена на те значения т, для которых I т - 2,7 ■ 102 21 > 2,7 • 1012.
Рассмотренные примеры показывают, что при решении реальных задач постоянно возникают задачи, требующие приближенного вычисления t
сумм S Рп^т^ Дли заданных и t при достаточно больших п. Точно также
необходимы приближенные формулы для вычисления вероятностей Р„(т) при больших значениях тип или же при малых т, но больших п. Эти задачи будут решены нами в ближайших параграфах. Сейчас же мы обратимся к установлению некоторых элементарных фактов, относящихся к изучению поведения Р„(т) как функции т. Для 0 < т < п, как легко подсчитать,
Рп (т + 1)п - тр
Рп(т}m + 1q
Отсюда следует, что
Р„(щ + 1)>Р„(т),
если (п - т)р > (т + l)q, т.е. если пр - q > т;
Рп(т + \) = РП(т),
если т = пр - q и, наконец,
Рп(т + 1)< Р„(т)
если т>пр - q.
Мы видим, что вероятность Рп(т^ с увеличением т сначала возрастает, затем достигает максимума и при дальнейшем росте т убывает. При этом если пр - q является целым числом, то максимальное значение вероятность Рп(т) принимает для двух значений т, именно для т0 = пр - q и т'о = пр - q + 1 = пр + р. Если же пр - q не является целым числом, то максимального значения вероятность Рп(т') достигает при т = т0, равном наименьшему целому числу, большему т0. Число т0 называют вероятнейшим значением р. Мы видели, что если пр — q есть целое число, то имеет два вероятнейших значения: тй и т'о = т0 + 1.
Таблица 7
т | PnW 1
т
PnW
т
Рп W
т
Рп^
5
0,0000
11
0,0287
18
0,1080
25
0,0059
5
0,0001
12
0,0470
19
0,0910
26
0,0028
6
0,0004
13
0,0679
20
0,0704
27
0,0012
7
0,0012
14
0,0879
21
0,0503
28
0,0005
8
0,0033
15
0,1077
22
0,0332
29
0,0002
9
0,0077
16
0,1178
23
0,0202
30
0,0001
10
0,0157
17
0,1178
24
0.0113
>30
0,0000
Отметим, что если пр - q < 0, то
P„(0)>P„(l)> ...>PnW,
а если пр - q = 0, то
Р„(0)=Р„(1)>Р„(2)> ...>Рп^.
В дальнейшем мы увидим, что при больших значениях п все вероятности Рп(т) становятся близкими к нулю, но только для т, близких к вероятнейшему значению т0, вероятности Р п^т^ сколько-нибудь заметно отличаются от нуля. Этот факт впоследствии будет доказан нами, а сейчас проиллюстрируем сказанное числовым примером.
Пример 3. Пусть и =50, р = 1/3.
Вероятнейших значений два: т0 = пр - q = 16 и т0 + 1 = 17. Значения вероятностей Рп{т} с точностью до четвертого десятичного знака представлены в табл. 7.
Локальная предельная теорема
При рассмотрении числовых примеров предыдущего параграфа было замечено, что при больших значениях пит вычисление вероятностей Рп(т) превращается в технически сложную задачу. Это обстоятельство было отмечено в ряде работ математиков начала XVIII века, посвященных демографическим проблемам. Возникла необходимость в асимптотических ъ
формулах как дляР„(т), так и для 2 Р„(т). Эта задача была исчер- т =а
пывающе решена Абрахамом де Муавром (1667—1754), французским математиком, всю жизнь прожившим в Англии. Позднее неоднократно две замечательные его теоремы, к формулировке и доказательству которых мы и перейдем, находили применения и широкие обобщения. Первая из них получила наименование локальной предельной теоремы.
Локальная теорема М у а в р а. Если вероятность наступления некоторого события в п независимых испытаниях постоянна и равна р (0 < р < 1), то вероятность Рп(т) того, что в этих испытаниях событие А наступит ровно m раз, удовлетворяет при п-*°° соотношению
1-l.v2
xfnpqPn^; е 2-> 1(1)
х/2тг
равномерно для всех т, для которых m — пр
х—хтп ~(2)
находится в каком-либо конечном интервале.
Доказательство. Приводимое нами доказательство опирается на известную из курса математического анализа формулу Стирлинга (одновременно открытую и Муавром)
в которой остаточный показатель д$ удовлетворяет неравенствув которой остаточный показатель д$ удовлетворяет неравенству1^11^11112s12s(2')(2')Заметим, что равенство (2) может быть записано в видеЗаметим, что равенство (2) может быть записано в видет = пр + хт = пр + хV«pq.V«pq.
в которой остаточный показатель д$ удовлетворяет неравенству
в которой остаточный показатель д$ удовлетворяет неравенству
1^1
1^1
1
1
12s
12s
(2')
(2')
Заметим, что равенство (2) может быть записано в виде
Заметим, что равенство (2) может быть записано в виде
т = пр + х
т = пр + х
V«pq.
V«pq.
Отсюда следует, что п - т = nq - х x/npq.
Последние равенства показывают, что если х остается в каком-либо ограниченном отрезке, то числа т и п — т возрастают до бесконечности вместе с п. После этого замечания мы можем использовать формулу Стирлинга. Ее применение дает нам
и!
РпИ = —-Pmqn-m т'.(п - ту.
\т { п \ п~т
е —
\т / \п - т )
где
6 — 6И — 0 т — Оп-т6 — 6И — 0 т — Оп-т1 112 \и1 112 \и1+ — + т1+ — + т
6 — 6И — 0 т — Оп-т
6 — 6И — 0 т — Оп-т
1 1
12 \и
1 1
12 \и
1
+ — + т
1
+ — + т
Отсюда мы видим, что, каков бы ни был отрезок а < х < Ь, величина О равномерно относительно х в этом отрезке стремится к нулю при п-*°°. Следовательно, множитель е-8 при том же условии равномерно стремится к единице.
Рассмотрим теперь величину
/ и \т / п \ п-т \пАп = In I — р I I q I\т /\ и — т // и \т / п \ п-т \пАп = In I — р I I q I\т /\ и — т /
/ и \т / п \ п-т \пАп = In I — р I I q I
\т /\ и — т /
/ и \т / п \ п-т \пАп = In I — р I I q I
\т /\ и — т /
/ q / р
В условиях теоремы величины V— и V — при достаточно боль- пр nq
ших п могут быть сделаны как угодно малыми, поэтому можно воспользоваться разложением логарифма в степенной ряд. Ограничившись двумя первыми членами, находим
In 11 + хIn 11 + хInIn11nq 2nq 2qx2qx2пррх2пррх2nqnq/ 1 '+ О f/ 1+ о I\иЗ/2/ 1 '+ О f/ 1+ о I\иЗ/2
In 11 + х
In 11 + х
In
In
1
1
nq 2
nq 2
qx2
qx2
пр
рх2
пр
рх2
nq
nq
/ 1 '
+ О f
/ 1
+ о I
\иЗ/2
/ 1 '
+ О f
/ 1
+ о I
\иЗ/2
х2/ 1 \
Несложные подсчеты показывают, что 1пЛ„ = —— + О I | и
2\ Vn /
равномерно относительно п в любом конечном отрезке х
х1
ппАп : е 2 -* 1(п-* °°У
п
п
-* 1 равномерно в каждом конечном т(п - т)
отрезке х.
Приведенные подсчеты доказывают теорему.
По существу теми же подсчетами можно доказать аналогичную локальную теорему и для полиномиального распределения.
Локальная теорема. Если вероятност Pi, р2Рк появления соответственно событий Л^\ А2^А^ в s-м испытании не зависят от номера испытания и отличны от 0 и от I (0 < р,< 1, z = 1,2,... Л), то вероятность Pn(ml, m2, . . ■, m^ того, что при п независимых испытаниях события А^ (z = 1,2,. .., к) появятся гП(раз (рч + т2 + . . . + тк =п), удовлетворяет соотношению
— — 2 qjX?
Vn^Pn (m1,m2, . . . ,ткУ-Vn^Pn (m1,m2, . . . ,ткУ-e 2 1 = 1
Vn^Pn (m1,m2, . . . ,ткУ-
Vn^Pn (m1,m2, . . . ,ткУ-
——!
к -1
(2л) 2 VPiP2 • • Pk
^< - пр,^np,q.^< - пр,^np,q.(n ->oo)
^< - пр,^np,q.
^< - пр,^np,q.
равномерно для всех m{ (z = 1, 2, . .., к) для которых
находятся в произвольных конечных интервалах a, ^ х, < bf.
Из равенства 5 mt = п вытекает соотношение 5 х{ у/пр^ = 0, 1 = 11=1
которое позволяет одно из х, выразить через остальные. Заметим вдобавок, к
что S Pi = 1 • При к = 2 из этой теоремы, как частный случай, получается 1 = 1
теорема Муавра.
Пример!. В примере 2 предыдущего параграфа нам нужно было определить ^(ш) при и = 10 000, т = 40, р = 0,005. По только что доказанной теореме имеем:
1 1т - пр
Рп (т) ~ -■— - "■ е 2 \ х^рч yfTnnpq
Для нашего примера
yfnpq = х/ТОООО"- 0,005 • 0,995 = x^9J5 ~7,О5,
т - пр 1,42. yfnpq
Следовательно,
1,422
;—
Рп ^ — е
7,05 л/Зтт
Функция
х2
<р(х) = -— е 2
V2tt
табулирована; краткая таблица значений этой функции приведена в конце книги. По этой таблице находим, что
0,1456
Рп (т) 0,00206.
7,05
Точные подсчеты без использования теоремы Муавра—Лапласа дают нам
Рп (т) -0,00197.
Для иллюстрации характера приближений, даваемых теоремой Муавра— Лапласа, а также для геометрического пояснения проделанных при ее
и = 25и = 25и = 4
и = 25
и = 25
Таблица 8
т
0
1
2
3
4
Рп (т)
0,4096
0,4096
0,1536
0,0256
0,0016
X
-1,00
0,25
1,50
2,75
4,00
x/npq Рп (т)
0,3277
0,3277
0,1229
0,0205
0,0013
0,2420
0,3867
0,1295
0,0091
0,0001
т
X
Рп W |
x/npq Рп (т)
^,(х)
т
X
PnW
Vnpq Рп (т)
V>(x)
0
-2,5
0,0037
0,0075
0,0175
8
1,5
0,0623
0,1247
0,1295
1
-2,0
0,0236
0,0472
0,0540
9
2,0
0,0294
0,0589
0,0540
2
-1^
0,0708
0,1417
0,1295
10
2,5
0,0118
0,0236
0,0175
3
-1,0
0,1358
0,2715
0,2420
11
3,0
0,0040
0,0080
0,0044
4
-0,5
0,1867
0,3734
0,3521
12
3,5
0,0012
0,0023
0,0009
5
0,0
0,1960
0,3920
0,3989
13
4,0
0,0003
0,0006
0,0001
6
0,5
0,1633
0,3267
0,3521
14
4,5
0,0000
0,0000
0,0000
7
1,0
0,1108
0,2217
0,2420
>14
>4,5
0,0000
0,0000
0,0000
Таблица 9
Таблица 10
и = 100
т | х
Рп ("0
x/npq Рп W
Pto
т
X
Рп ("0
x/npq Рп (т)
pto
8 -3,00
0,0006
0,0023
0,0044
21
0,25
0,0946
0,3783
0,3867
9 -2,75
0,0015
0,0059
0,0091
22
0,50
0,0849
0,3396
0,3521
10 -2,50
0,0034
0,0134
0,0175
23
0,75
0,0720
0,2879
0,3011
И -2,25
0,0069
0,0275
0,0317
24
1,00
0,0577
0,2309
0,2420
12 -2,00
0,0127
0,0510
0,0540
25
1,25
0,0439
0,1755
0,1826
13 -1,75
0,0216
0,0863
0,0862
26
1,50
0,0316
0,1266
0,1295
14 -1,50
0,0335
0,1341
0,1295
27
1,75
0,0217
0,0867
0,0862
15 -1,25
0,0481
0,1923
0,1826
28
2,00
0,0141
0,0565
0,0540
16 -1,00
0,0638
0,2553
0,2420
29
2,25
0,0088
0,0351
0,0317
17 -0,75
0,0788
0,3154
0,3011
30
2,50
0,0052
0,0208
0,0175
18 -0,50
0,0909
0,3636
0,3521
31
2,75
0,0029
0,0117
0,0091
19 -0,25
0,0981
0,3923
0,3867
32
3,00
0,0016
0,0063
0,0044
20 -0,00
0,0993
0,3972
0,3989
т
X 1
Гга(т)
x/npq Рп №
» (*)
т
X
РпО")
x/npq Рп (т)
V (X)
56
-3,000
0,0004
0,0034
0,0044
81
0,125
0,0492
0,3956
0,3957
57
-2,875
0,0006
0,005.1
0,0064
82
0,250
0,0478
0,3828
0,3867
58
-2,750
0,0009
0,0076
0,0091
83
0,375
0,0458.
0,3666
0,3719
59
-2,625
0,0014
0,0104
0,0127
84
0,500
0,0432
0,3459
0,3521
60
-2,500
0,0019
0,0156
0,0175
85
0,625
0,0402
0,3215
0,3282
61
-2,375
0,0027
0,0218
0,0238
86
0,750
0,0368
0,2944
0,3011
62
-2,250
0,0037
0,0298
0,0317
87
0,875
0,0332
0,2656
0,2721
63
-2,125
0,0050
0,0399
0,0417
88
1,000
0,0295
0,2362
0,2420
64
-2,000
0,0066
0,0525
0,0540
89
1,125
0,0259
0,2070
0,2119
" 65
-1,875
0,0089
0,0679
0,0684
90
1,250
0,0223
0,1788
0,1826
66
-1,750
0,0108
0,0862
0,0862
91
1,375
0,0190
0,1523
0,1550
67
-1,625
0,0134
0,1075
0,1065
92
1,500
0,0160
0,1279
0,1295
68
-1,500
0,0164
0,1316
0,1295
93
1,625
0,0132
0,1059
0,1065
69
-1,375'
0,0198
0,1583
0,1550
94
1,750
0,0108
0,0865
0,0862
70
-1,250
0,0234
0,1871
0,1827
95
1,875
0,0087
0,0696
0,0684
71
-1,125
0,0271
0,2175
0,2119
96
2,000
0,0069
0,0553
0,0540
72
-1,000
0,0310
0,2483
0,2420
97
2,125
0,0054
0,0433
0,0417
73
-0,875
0,0349
0,2789
0,2721
98
2,250
0,0042
0,0335
0,0317
74
-0,750
0,0385
0,3081
0,3011
99
2,375
0,0032
00255
0,0238
75
-0,625
0,0419
0,3317
0,3282
100
2,500
0,0024
0,0192
0,0175
76
-0,500
0,0447
0,3580
0,3521
101
2,625
0,0018
0,0142
0,0127
77
-0,375
0,0471
0,3766
0,3719
102
2,750
0,0013
0,0105
0,0091
78
-0,250
0,0487
0,3919
0,3867
103
2,875
0,0009
0,0075
0,0064
79
-0,125
0,0497
0,3973
0,3957
104
3,000
0,0008
0,0054
0,0044
80
-0,000
0,0498
0,3985
0,3989
и =400
Таблица 11
доказательстве аналитических преобразований, мы рассмотрим численный пример.
Пусть вероятность р равна Q,2. В табл. 8—11 собраны значения т.
т - пр
х = — —, вероятностей Рп(т), величин xjnpq Рп (т), а также функ-
Vnpq ,1 х
ции <^(х) = е 2 с точностью до четвертого десятичного знака соот-
<2тг
ветственно для числа испытаний п = 4,25, 100, 400. На рис. 10а ординаты изображают значения вероятностей Рп(ш) при различных целочисленных значениях абсциссы т. По рисунку видно, что с увеличением п величины Р„(т) равномерно убывают. Для того чтобы на рисунке точки [m,P„(m)]
Р^
а)а)0,60р
а)
а)
0,30
0,20- .•
х. * п= 25
0,10 -•
..*..n = UOO
вх • 211=100
_ —х1чГ“‘211
о 10203065758595 т
Рис. 10
уже для рассматриваемых значений и не слились с осью абсцисс, мы выберем резко различные масштабы по осям координат.
т — пр Рассмотрение вместо абсцисс т и ординат Р„(т) абсцисс хп = —-—~ Vnpq
и ординат уп(т) = xfnpq Рп(т) означает 1) перенос начала координат в точку (пр, 0), находящуюся вблизи от максимальной ординаты Р„ (т), 2) увеличение единицы масштаба по оси абсцисс в xfnpq раз (иными слов'ами, сжатие графика по оси абсцисс в xfnpq раз), 3) уменьшение единицы масштаба по оси ординат в xfnpq раз (иными словами, растяжение графика по оси ординат в xfnpq раз).
На рис. 105, в, г изображены кривая у = ф(х) и преобразованные только что описанным способом точки [т, Р„(т)], т.е. точки [х„, уп(т)]. Мы видим, что уже при и = 25 точки [х„, уп(т)1 сливаются на графике с соответствующими точками кривой у = ^(х). Это совпадение становится еще лучше при больших чем 25 значениях п.
Чтобы получить наглядное представление о том, в какой мере можно пользоваться асимптотической формулой Муавра—Лапласа при конечных и), т.е. заменять биномиальный закон при вычислении вероятностей Рп(т) функцией у = ^(х), приведем пример. Для простоты рассмотрим
Таблица 12
п
Рп
Qn
Pn-Qn
PnIQn
25
0,09742
0,09679
0,00063
1,0065
100
0,04847
0,04839
0,00008
1,0030
400
0,024207
0,024194
0,000013
1,0004
1156
0,014236
0,014234
0,000002
1,0001
случай р = q = 1/2 и возьмем лишь те и, для которых возможно значение хпт = И такими могут быть, например, п = 25, 100, 400, 1156. Именно для нихх„т = 1 приш = 15, 55, 210, 595.
1— х 2/2
Положим для краткости Рп(т) = Рп и —е пт = Qn ПРИ
xf2fnpq
p=q = 1(2 и хпт=1.
Согласно локальной теореме Муавра-Лапласа отношение PnIQn должно стремиться к единице, когда и ^°°. Вычисление при названных выше значениях п дает
§11. Интегральная предельная теорема
Только что выведенную локальную предельную теорему мы используем для вывода другого предельного соотношения теории вероятностей — интегральной предельной теоремы. Изложение начнем с простейшего частного случая этой теоремы — интегральной теоремы М^авра—Лапласа.
Интегральная теорема Муавра—Лапласа. Если м есть число наступлений события в п независимых испытаниях, в каждом из которых вероятность этого события равна р, причем 0 < р < 1, то равномерно относительно а и Ь(—ж<а<Ь <+=») при п-*^ имеет место соотношение
Р — пр x/npqР — пр x/npqг dz.г dz.
Р — пр x/npq
Р — пр x/npq
г dz.
г dz.
Доказательство. Введем для краткости письма обозначение
Рп (a, b) = РРп (a, b) = РU-прx/npqU-прx/npq
Рп (a, b) = Р
Рп (a, b) = Р
U-прx/npq
U-прx/npq
Эта вероятность, очевидно, равна сумме ZP„(m), распространенной на те значения т, для которых а ^хт < Ъ, где попрежнему обозначено хт = т - пр
x/npq
Определим теперь функцию у = П„ (х) следующим образом:
0
пр длях<х0~И x/npq
у = П„ (х) = 0
11 + nq
для х > хп + =
x/npq x/npq
x/npq PnQn)
№яхт <х <хт+1 (т = 0, 1,.. . , п).
Очевидно, что вероятность Рп(т) равна площади, ограниченной кривой у = П„(х), осью ОХ и ординатами в точках х =хт их =хт + 1, т.е.
хт + 1
Р„ (т) = x/npq Р„ (т) (хт+ц -хт) = f Rn(x)dx.
хт
Отсюда следует, что искомая вероятность Pn(q, 6) равна площади, заключенной между кривой у = П„(х), осью ОХ и ординатами в точках хт ихт ’ гДе типу определяются посредством неравенств
11
а<хт<д + —b <х- <Ь + -—-.
x/npqx/npq
Таким образом,
xin
Pn(a,b)= J П„(х)с/х =
хт
Ьхт—
= J n„(x)dx+ J П„(х)с/х- ^ П„(х)т2х.
«6а
Так как максимальное значение вероятности Р„ (т) приходится на значение т0 = [ (и + 1)р], то максимальное значение П„(х) приходится на интервал
0<0<т0 - прxfnpqт0 - прxfnpqт0 + 1 — пр 2 x/npqVnpqт0 + 1 — пр 2 x/npqVnpq
0<
0<
т0 - прxfnpq
т0 - прxfnpq
т0 + 1 — пр 2 x/npqVnpq
т0 + 1 — пр 2 x/npqVnpq
В этом интервале действует локальная теорема Муавра—Лапласа, и мы можем поэтому заключить, что при всех достаточно больших значениях п
шах П„ (х) < 2шах П„ (х) < 2= V2/^.= V2/^.— х2/2
шах П„ (х) < 2
шах П„ (х) < 2
= V2/^.
= V2/^.
; шах е ' х/2тт"
Отсюда мы прежде всего выводим, что
хтхтхт
I Ри I = I f П„(х) dx - J П„ (х) dx | < j max П„ (х) dx + bab
x mГ^j
+ J maxll„(x)c/x < у — (-b + x- + xm - a) <2 у
O77-nnpq
и что, следовательно lim pn =0.
n-*”
Таким образом, Pn(a, b) только на величину бесконечно малую отлича- ь
ется от J П„ (х) dx. а
Мы предположим сначала, что а и b - конечные числа. При этом предположении согласно локальной теореме при д <хт <Ь
П„(хт)=—^^[l + а„(хт)), \/2л
где ап(хт) -* 0 при и ->- °° равномерно относительно хт. Очевидно, что и
при промежуточных значениях аргумента
12
П„(х) = —=е~х /2 [1+а„(х)], у2л
причем Нт Нт <хп(х) = 0. Действительно, при любом т в интервале
хт Сх < хт+1 имеем:
П„(х)=П„(хт) = ^=е-х2/2 [1
где
&п СО — 6[0!п (_Хт) + 1 ] — 1.
Так как
х | • I х - хт
то ясно,что
lim max а(х) = 0.
п-*” а<,х < b
Собрав вместе найденные оценки, получаем, что
162
Л, (а, К) = -—fe~x l2dx+Rn,
где
1и2ia
Rn= ~7=- f е"х 12 «„(x^dx + р„. а
Так как
162
\Rn\C max I а„(х) I • —— J e-x /2 dx + pn, a<x < b\/z,T( a
то из сказанного ясно, что
Um Rn = 0.
В сделанном нами по ходу доказательства частном предположении теорема доказана. Нам остается освободиться от этого ограничения.
С этой целью прежде всего заметим, что
——Jе-2^2 dz = 1.
V27
Поэтому для любого е > 0 можно выбрать столь большое А, что
1
хП^
Аг£
J е~2 /2 dz > 1 - — ,
—л4
1
100
е-2’/2 dz = -^ J е 72л л
z2/2 dz<-.
8
Выберем далее, в соответствии — А <а <6 < А будет:
с доказанным, столь большое п, что при
Р^а, b) — J е ^^dzxjZ.1t а
Тогда очевидно, что
Р„(-А, А)> 1 — е/2,
е
4 ‘
Р(—”,—А) + Р(А, +=) = 1 — Р(—А, Л)<е/2.
Теперь докажем, что при любых а и b (— 00 <а <Ь < + °°) будет:
162
Р»(а. Ь)- -7= f e~z l2dzxjztt а
е,
чем, очевидно, и закончится доказательство теоремы Лапласа.
Для этого надо разобрать отдельно различные случаи расположения на прямой точек а и b относительно интервала (-А, А). Разберем, например,случай а <- А, b > А (остальные предоставим читателю).
В этом случае
1621 -А А b .
-== f I2 dz = -== ( J + J + J е z /2 dz), X/ZIt ах/ 1"П а -А А
Р„ (а, Ь) = Рп (а, - А) + Рп (- А, А) + Рп (А, Ь).
Поэтому
162Рп(а, Ь) — -— J e~z i2 dzх/2я а162Рп(а, Ь) — -— J e~z i2 dzх/2я аР„(а, -А)- J е ^^dzу2л аР„(а, -А)- J е ^^dzу2л а
162
Рп(а, Ь) — -— J e~z i2 dzх/2я а
162
Рп(а, Ь) — -— J e~z i2 dzх/2я а
Р„(а, -А)- J е ^^dzу2л а
Р„(а, -А)- J е ^^dzу2л а
Pnl-A,AVPnl-A,AV1А1J e^dz2тг — А1А1J e^dz2тг — А+ Рп(А,Ь)-+ Рп(А,Ь)-e'^dzАe'^dzАI ~А г<Р„(-<”-Л) + v f e~z /2 dz +V2n -«=I ~А г<Р„(-<”-Л) + v f e~z /2 dz +V2n -«=РлС-Л.Л)--^ J е Z^2dzу2я -АРлС-Л.Л)--^ J е Z^2dzу2я -А+ Рп (А, + °°) ++ Рп (А, + °°) +1 7ееее+ —= f е dz <—+—+—+— =е.>/2л А24881 7ееее+ —= f е dz <—+—+—+— =е.>/2л А2488Мы перейдем теперь к формулировке интегральной предельной теоремы в общем случае схемы последовательности независимых испытаний. Пусть попрежнему д, (i = 1, 2,.. ., к) означает число появлений событий Ар) (s = 1, 2,.. ., и) ви последовательных испытаниях. В зависимости от случая Hi могут принимать лишь значения 0, 1, 2,.. ., и, причем так как в каждом испытании возможны к исходов и эти исходы несовместимы, то должно иметь место равенствоМы перейдем теперь к формулировке интегральной предельной теоремы в общем случае схемы последовательности независимых испытаний. Пусть попрежнему д, (i = 1, 2,.. ., к) означает число появлений событий Ар) (s = 1, 2,.. ., и) ви последовательных испытаниях. В зависимости от случая Hi могут принимать лишь значения 0, 1, 2,.. ., и, причем так как в каждом испытании возможны к исходов и эти исходы несовместимы, то должно иметь место равенствоД1 + Д2 + • . . + dk = И.Д1 + Д2 + • . . + dk = И.(1)(1)Станем теперь на величины Д1, д2, • • • , Цк смотреть как на прямоугольные координаты точки в fc-мерном евклидовом пространстве.При этом результаты и испытаний изобразятся точкой с целочисленными координатами, не меньшими нуля и не большими и; будем в дальнейшемСтанем теперь на величины Д1, д2, • • • , Цк смотреть как на прямоугольные координаты точки в fc-мерном евклидовом пространстве.При этом результаты и испытаний изобразятся точкой с целочисленными координатами, не меньшими нуля и не большими и; будем в дальнейшемназывать такие точки целочисленными. Равенство (1) показывает, что результаты испытаний изобразятся не произвольными целочисленными точками в гиперкубе 0 < д,- < и (/ = 1, 2, ..., к'), а лишь теми из них, которые находятся в гиперплоскости (1). На рис. 11 изображено положение возможных результатов испытаний в гиперплоскости (1) для случая п = 3, к = 3.Произведем преобразования коорди-называть такие точки целочисленными. Равенство (1) показывает, что результаты испытаний изобразятся не произвольными целочисленными точками в гиперкубе 0 < д,- < и (/ = 1, 2, ..., к'), а лишь теми из них, которые находятся в гиперплоскости (1). На рис. 11 изображено положение возможных результатов испытаний в гиперплоскости (1) для случая п = 3, к = 3.Произведем преобразования коорди-
Pnl-A,AV
Pnl-A,AV
1А1
J e^dz
2тг — А
1А1
J e^dz
2тг — А
+ Рп(А,Ь)-
+ Рп(А,Ь)-
e'^dz
А
e'^dz
А
I ~А г
<Р„(-<”-Л) + v f e~z /2 dz +
V2n -«=
I ~А г
<Р„(-<”-Л) + v f e~z /2 dz +
V2n -«=
РлС-Л.Л)--^ J е Z^2dzу2я -А
РлС-Л.Л)--^ J е Z^2dzу2я -А
+ Рп (А, + °°) +
+ Рп (А, + °°) +
1 7ееее
+ —= f е dz <—+—+—+— =е.>/2л А2488
1 7ееее
+ —= f е dz <—+—+—+— =е.>/2л А2488
Мы перейдем теперь к формулировке интегральной предельной теоремы в общем случае схемы последовательности независимых испытаний. Пусть попрежнему д, (i = 1, 2,.. ., к) означает число появлений событий Ар) (s = 1, 2,.. ., и) ви последовательных испытаниях. В зависимости от случая Hi могут принимать лишь значения 0, 1, 2,.. ., и, причем так как в каждом испытании возможны к исходов и эти исходы несовместимы, то должно иметь место равенство
Мы перейдем теперь к формулировке интегральной предельной теоремы в общем случае схемы последовательности независимых испытаний. Пусть попрежнему д, (i = 1, 2,.. ., к) означает число появлений событий Ар) (s = 1, 2,.. ., и) ви последовательных испытаниях. В зависимости от случая Hi могут принимать лишь значения 0, 1, 2,.. ., и, причем так как в каждом испытании возможны к исходов и эти исходы несовместимы, то должно иметь место равенство
Д1 + Д2 + • . . + dk = И.
Д1 + Д2 + • . . + dk = И.
(1)
(1)
Станем теперь на величины Д1, д2, • • • , Цк смотреть как на прямоугольные координаты точки в fc-мерном евклидовом пространстве.
При этом результаты и испытаний изобразятся точкой с целочисленными координатами, не меньшими нуля и не большими и; будем в дальнейшем
Станем теперь на величины Д1, д2, • • • , Цк смотреть как на прямоугольные координаты точки в fc-мерном евклидовом пространстве.
При этом результаты и испытаний изобразятся точкой с целочисленными координатами, не меньшими нуля и не большими и; будем в дальнейшем
называть такие точки целочисленными. Равенство (1) показывает, что результаты испытаний изобразятся не произвольными целочисленными точками в гиперкубе 0 < д,- < и (/ = 1, 2, ..., к'), а лишь теми из них, которые находятся в гиперплоскости (1). На рис. 11 изображено положение возможных результатов испытаний в гиперплоскости (1) для случая п = 3, к = 3.
Произведем преобразования коорди-
называть такие точки целочисленными. Равенство (1) показывает, что результаты испытаний изобразятся не произвольными целочисленными точками в гиперкубе 0 < д,- < и (/ = 1, 2, ..., к'), а лишь теми из них, которые находятся в гиперплоскости (1). На рис. 11 изображено положение возможных результатов испытаний в гиперплоскости (1) для случая п = 3, к = 3.
Произведем преобразования коорди-
наты по формулам
Д; - «Pi
Xi=—p=L (i=... ,к; qi= i-Pi).
Уравнение гиперплоскости (1) в новых координатах перепишется в следующем виде:
к
S Xix/npiq, = 0.(2)
i=i
Точки гиперплоскости (2), в которые перешли целочисленные точки гиперплоскости (1), условимся также называть ’’целочисленным и”.
Обозначим через Pn(G) вероятность того, что в результате п испытаний числа р; (z = 1, 2,..., к) появлений каждого из возможных исходов р{ - npi
окажутся такими, что точка с координатами х{ = —==- попадет внутрь y/nPiq,
области G.
Тогда имеет место следующая
Теорема. Если в схеме последовательности независимых испытаний в каждом из испытаний возможны к исходов, причем вероятность каждого из исходов не зависит от номера испытания и отлична от 0 и от 1, то какова бы ни была область G гиперплоскости (2) ,для которой (к — 1)- мерный объем ее границы равен нулю, равномерно относительно G при п-*°°, имеет место соотношение
1
Рп \G} S е 2 'dv,
к G (2~)к~' Piqt i= 1
где du означает элемент объема области G и интеграл распространяется на область G.
Доказательство и по идее и по осуществлению является почти полной копией рассуждений, проведенных при доказательстве интегральной теоремы Муав ра-Лапласа.
Замечание. Только что сформулированной теореме мы придали форму, в которой все переменные хх, хг,.. . ,хп играют одинаковую роль.
В интегральной теореме Муавра—Лапласа мы, однако, предпочли проводить рассуждения, нарушив однородность переменных хх и х2, только с переменным х = хх. Геометрически это означало, что мы рассматриваем не сами результаты испытаний (целочисленные точки на прямой хх + х2 = = 0), а их проекции на ось ОХ. Подобным же образом мы можем, на-
рушив однородность и в общем случае, рассмотреть интегрирование не по области G, а по ее проекции G' на какую-либо координатную гиперплоскость, скажем, на плоскость хк = 0. Элемент объема du' в гиперплоскости хк = 0 связан с элементом объема dv гиперплоскости (2) соотношением du' = dv cosip,
где ip — угол между указанными гиперплоскостями. Легко подсчитать, что
^РкЯк cos <р =_■ ... • .
X/^PiQi
dv =dv =В координатной гиперплоскости элемент объема dv' = dxxdx2.. -dxk_x, поэтому имеет место равенство
dv =
dv =
Я1Я2-• -Як .
(2 л)*-1 HpiQiG
Я1Я2--Як-1 (2л)*-' pkЯ1Я2--Як-1 (2л)*-' pk$ е 21 dxx...dxk_x.G’$ е 21 dxx...dxk_x.G’
Я1Я2--Як-1 (2л)*-' pk
Я1Я2--Як-1 (2л)*-' pk
$ е 21 dxx...dxk_x.
G’
$ е 21 dxx...dxk_x.
G’
В подинтегральной функции мы должны произвести замену хк на его выражение черезхх,х2,... ,хк_х \
1
хк = ~2 Vp^tXi.
чРкЯк 1=1
В результате этой замены мы имеем:
*2V^РгЯ1Р)Я) _
^ PiXj= 5 q, ( 1 + — I Xj + 22, x,Xj
i=ii=i \ Pk)\<i<i^k-ipk
= Q^xx,x2,...,xk_^.
Интегральная предельная теорема может быть, таким образом, сформулирована иначе, а именно:
В условиях интегральной предельной теоремы при п -»°° 1
!ЯхЯг- • • Як- 1 ,P(G)^V т——— / е 2dxxdx2...dxk_x.
y.irf-ypk G'
(14)
Понятно, что интегральная теорема Муавра—Лапласа является частным
случаем только что доказанной теоремы: она легко может быть получена из формулы (14).
Для этого достаточно заметить, что в схеме Бернулли к = 2, р = рх, q=Pi=l -р.
При к = 3 формула (14) принимает следующий вид:
1
/ qxqi „
P(G)->V ——— J, еdxYdx2,
флДРз G
где
Рз = 1 ~Pi -Р2,
_,/Р1\ 2,VP1<Z1P2<?2
Q(x1,x2) = Pi( 1 + —|Xi +<72( 1 + —1*2 +2
\ Рз/ \ Рз/Рз
1152Рз1152Рз+ х2 + 2+ х2 + 2/ Р1Р2
1152
Рз
1152
Рз
+ х2 + 2
+ х2 + 2
V %1^2
<71^2
Простой подсчет показывает, что
Рз = 1 - Pi — р2 = qYq2 -Р1Р2,
поэтому
1//Р1Р2
Q(x!,x2)= ixj +х2 + 2у ^1^2
1 Р1^2 '4141
qxqi
§12. Применения интегральной теоремы Муавра—Лапласа
В качестве первого приложения интегральной теоремы Муавра—Лапласа мы оценим вероятность неравенства
--Р <е>
и I
где е > 0 — постоянное. Имеем
< е 1 = Р < - е V — < — < ех/ —
J I pq \Jnpq pq
и, значит, в силу интегральной теоремы Муавра—Лапласа
limИ -* еlimИ -* ем--Р им--Р и2 dz = l.2 dz = l.
lim
И -* е
lim
И -* е
м
--Р и
м
--Р и
2 dz = l.
2 dz = l.
Итак, каково бы ни было постоянное е > 0, вероятность неравенства
Д--Р иД--Р и< е стремится к единице.< е стремится к единице.
Д
--Р и
Д
--Р и
< е стремится к единице.
< е стремится к единице.
Обнаруженный нами факт был впервые найден Я. Бернулли; он носит название закона больших чисел или теоремы Бернулли. Теорема Бернулли и ее многочисленные обобщения являются одними из важнейших теорем теории вероятностей. Через них именно теория соприкасается с практикой, именно в них заложен фундамент успехов применения теории вероятностей к различным проблемам естествознания и техники. Об это будет подробнее сказано в главе, посвященной закону больших чисел; там же мы дадим доказательство теоремы Бернулли более простым методом, отличным, как от только что изложенного, так и от употребленного Я. Бернулли.
Мы рассмотрим теперь типичные задачи, приводящие к теореме Муавра—Лапласа.
Производится и независимых испытаний, при каждом из которых вероятность наступления события Л равна/?:
I. Спрашивается, чему равна вероятность того, что частота наступления события А отклонится от вероятности р не более чем на а? Эта вероятность равна
Какое наименьшее число испытаний нужно произвести для того, чтобы с вероятностью, не меньшей /3, частота отклонялась от вероятности не больше чем на а. Нам нужно определить и из неравенства
РРР
Р
Р
--Р п
Вероятность, фигурирующую в левой части неравенства, мы заменяем приближенно по теореме Муавра — Лапласа интегралом. Для определе-
ния и в результате получается неравенство
При данной вероятности 0 и числе испытаний п требуется опреде
лить границу возможных измененийлить границу возможных изменений— — р . Иными словами, зная 0 и— — р . Иными словами, зная 0 и
лить границу возможных изменений
лить границу возможных изменений
— — р . Иными словами, зная 0 и
— — р . Иными словами, зная 0 и
и п, нужно найти а, для которого
Применение интегральной теоремы Лапласа дает нам для определения а уравнение
2 pq ,
—— f e~x/2dx=0.
Ф (х) =Ф (х) =/2 dz/2 dzЧисленное решение всех рассмотренных нами задач требует умения вычислять значения интеграла
Ф (х) =
Ф (х) =
/2 dz
/2 dz
(1)
при любых значениях х и решать обратную задачу - по величине интеграла Ф(х) вычислять соответствующее значение аргумента х. Для этих расчетов, требуются специальные таблицы, так как интеграл (1) при 0 < < х < 00 в конечном виде через элементарные функции не выражается. Такие таблицы составлены и имеются в конце настоящей книги.
Рис. 12 дает наглядное представление о функции Ф(х). При помощи таблицы значений функции Ф (х) можно вычислять по формуле J (а, Ь) = = Ф (Ь) — Ф (а) также значение интеграла
1 6,
.Ца, Ь^ = —— J e-z I2 dz.
у2?Г а
Таблица функции Ф(х) составлена только для положительных х; для отрицательных х функция Ф (х) определяется из равенства
Ф(-х) = -Ф(х).
Мы теперь в состоянии довести до конца решение примера 2 § 9.
Пример 1. В примере 2 § 9 нам нужно было найти вероятность
р = 2Р{д = те} ,
где сумма распространена на те значения т, для которых
|те- 2,7 • 1022 Г>2,7 ■ 1012,
при условии, что общее число испытаний и = 5,4 • 1022 ир = 1/2. Так как
| д - пр | = = р -7.■■■1 |( \Jnpq| д - пр | = = р -7.■■■1 |( \Jnpq,7 ■ 1012
| д - пр | = = р -7.■■■
1 |( \Jnpq
| д - пр | = = р -7.■■■
1 |( \Jnpq
444 ■ 1022
4
4
в силу теоремы Лапласа
рJ e~x^2dx. X/'ln 2,33-10
le-z2/2, Zle-z2/2, ZТак как
le-z2/2, Z
le-z2/2, Z
■ $ е ~^i2 dx < — ^ хе ^12 dx = zZ z
TO
p< e-2,7-100<10-lOO
\/2л ■ 10s
О том, как мала эта вероятность, можно судить по следующему сравнению. Предположим, что шар радиуса 6000 км наполнен белым песком, в который попала одна черная песчинка. Размер песчинки равен 1 мм3.
Рис. 12
Наудачу из всей этой массы песчинок берется одна; чему равна вероятность того, что она будет черного цвета?
Легко подсчитать, что объем шара радиуса 6000 км немногим меньше 1030 мм3 и, следовательно, вероятность извлечь черную песчинку немногим больше 10'30.
П р и м е р 2. В примере 1 § 9 нам нужно было найти вероятность того, что число бракованных изделий окажется не больше семидесяти, если вероятность для каждого изделия быть бракованным равна р = 0,005 и число изделий равно 10 000. По только что доказанной теореме эта вероятность равна
Р{д<70} = РР{д<70} = Р50< д - пр 20
Р{д<70} = Р
Р{д<70} = Р
V49.75 Vnpqх/49?75
(и-пр112 84 - —
= Р \ —7,09 <- < 2,84 (J е 2 dz =
IVnpqJV2?T -7,09
= Ф (2,84) - Ф (-7,09) = Ф (2,84) + Ф (7,09) = 0,9975.
Значения функции Ф(х) при х = 7,09 в таблицах нет, мы заменили его половиной, совершив при этом ошибку, меньшую 10'10.
Естественно, что в примерах настоящего и предыдущего параграфов, равно как и в любых других задачах, относящихся к определению вероятностей Pn(ni) при каких-либо конечных значениях т и п по асимптотическим формулам Муавра—Лапласа требуется оценка совершаемой при такой замене ошибки. В течение очень долгого времени теоремы Муавра— Лапласа применялись к решению подобного рода задач без сколько-нибудь удовлетворительной оценки остаточного члена. Создалась чисто эмпирическая уверенность, что при п порядка нескольких сотен или еще большем, а также при р, не слишком близких к 0 или 1, употребление теорем Муавра—Лапласа приводит к удовлетворительным результатам. В настоящее время существуют достаточно хорошие оценки погрешностей, совершаемых при пользовании асимптотической формулой Муавра—Лапласа*).
Мы остановимся еще на обобщении теоремы Бернулли на случай общей схемы последовательности независимых испытаний. Пусть в каждом испытании возможны к исходов, вероятность каждого из них соответственно равна P1.p2.--.Pk * Pi. Рг. - - -. Рк — числа появлений каждого исхода
♦) См., например, цитированную на стр. 84 работу С.Н. Бернштейна.
в последовательности п независимых испытаний. Определим вероятность одновременного осуществления неравенств
MiPi иMiPi иДаР2ПДаР2ПРкРк пРкРк пЕк*Ек*(2)(2)
Mi
Pi и
Mi
Pi и
Да
Р2
П
Да
Р2
П
Рк
Рк п
Рк
Рк п
Ек*
Ек*
(2)
(2)
т.е. неравенств
|xj Кб]|xj Кб]P1Q1P1Q1I Х2 | < £2I Х2 | < £2/ И■ ■ ■ ’I хк I < ек V- Pkqk/ И■ ■ ■ ’I хк I < ек V- Pkqk
|xj Кб]
|xj Кб]
P1Q1
P1Q1
I Х2 | < £2
I Х2 | < £2
/ И
■ ■ ■ ’I хк I < ек V- Pkqk
/ И
■ ■ ■ ’I хк I < ек V- Pkqk
Последнее из этих неравенств, собственно, является следствием предыдущих, так как согласно (2) §13 первые к - 1 из неравенств (2) дают оценку
\хк 1 =\хк 1 =(3)(3)/ Р.Чг / /рТрГl V< Z V
\хк 1 =
\хк 1 =
(3)
(3)
PkQk Z~1 PkQk
Согласно (16) §13 вероятность первых к - 1 неравенств (2) [а следовательно, также неравенства (3)] имеет своим пределом при и ->°° интеграл
dxydx2dxydx2.. dxk_x = 1... dxk_x = 1./71^2 .qk-v ,,-
dxydx2
dxydx2
.. dxk_x = 1.
.. dxk_x = 1.
v^k-^Pk
§13. Теорема Пуассона
Мы видели при доказательстве локальной теоремы Муавра—Лапласа, что асимптотическое представление вероятности Рп (т) посредством функ-
1
ции —' действует тем хуже, чем больше вероятность р отли- V2ir
чается от половины, т.е. чем меньшие значения р или q приходится рассматривать, и это представление отказывается служить при р = 0, q = 1, а также при р = 1, q = 0. Однако значительный круг задач связан с необходимостью вычисления вероятностей Р„(т) именно при малых значениях р). Для того чтобы в этом случае теорема Муавра—Лапласа дала результат с незначительной ошибкой, необходимо, чтобы число и испытаний было очень велико. Возникает, таким образом, задача разыскания асимптотической формулы, специально приспособленной для случая 'малых р. Такая формула была найдена Пуассоном.
Рассмотрим последовательность серий
Ен-
Ei 1, Ен*
Ез1' Е31, Е33
Еп 1 • Еп2, Еп з,.. . , Епп,
в которой события одной серии взаимно независимы между собой и имеют каждое вероятность рп, зависящую только от номера серии. Через д„ обозначается число фактически появившихся событий и-й серии.
Теорема Пуассона. Если рп**0 при п -*°°, то
а™
Р(д„ = щ) - -^-е О,(1)
где
йп = ПРп-
Доказательство. Очевидно,что
Рп (m) = Р (^ = m} = С™ р™ (1 - рп Г "т =
и! 1апУ*
т'.(п- т)1 \ п )
Пусть т фиксировано. Выберем произвольно е > 0. Тогда можно выбрать А = А (е) столь большим, чтобы при а ^ А было
ате
е <
т'.2
Рассмотрим сначала те номера и, для которых ап > А. Для этих и, по неравенству 1 — х < е -х, 0 < х < 1:
при и > 2mпри и > 2mа„Р» ("0 < —" ет\
при и > 2m
при и > 2m
±L е а" < т\2
Поэтому для указанных ат IР„Н- —е”а" <Поэтому для указанных ат IР„Н- —е”а" <ие2ие2е2е2е.е.
Поэтому для указанных ат I
Р„Н- —е”а" <
Поэтому для указанных ат I
Р„Н- —е”а" <
и
е
2
и
е
2
е
2
е
2
е.
е.
Рассмотрим теперь те номера и, для которых ап < А. Так какРассмотрим теперь те номера и, для которых ап < А. Так как( / ап \п -д 1lim (1- —) ” £ п f = 0 при n-*°° I \ И /J( / ап \п -д 1lim (1- —) ” £ п f = 0 при n-*°° I \ И /Jап < А и при постоянном тап < А и при постоянном т
Рассмотрим теперь те номера и, для которых ап < А. Так как
Рассмотрим теперь те номера и, для которых ап < А. Так как
( / ап \п -д 1
lim (1- —) ” £ п f = 0 при n-*°° I \ И /J
( / ап \п -д 1
lim (1- —) ” £ п f = 0 при n-*°° I \ И /J
ап < А и при постоянном т
ап < А и при постоянном т
то в силу формулы (2) при п > п0 (е)
ат
< е,< е,Рп(т)-^-е'ап т\
< е,
< е,
что и требовалось доказать.
Заметим, что теорема Пуассона имеет место и в том случае, когда вероятность события А в каждом испытании равна нулю. В этом случае а„ = 0.
Обозначим
ат
Р (т) = е °.
т!
Полученное распределение вероятностей носит название закона Пуассона.
Легко подсчитать, что величины Р(т) удовлетворяют равенству SP(m) = 1. Изучим поведение Р(т) как функции т. С этой целью рас- т
смотрим отношение
Р (т) _ а
PQn - V) т
Мы видим, что если т > а, то P(m) < Р(т — 1), если же т < а, то Р(т) > Р(т - 1), если, наконец, т = а, то Р(т) = Р^т — 1). Отсюда мы выводим, что величина Р(т) возрастает при увеличении т от 0 до т0 = [а], и при дальнейшем увеличении т убывает. Если а — целое число, то Р(т) имеет два максимальных значения: при т0 = а и при тй=а — 1. Приведем примеры.
Пример 1. Вероятность попадания в цель при каждом выстреле равна 0,001. Найти вероятность попадания в цель двумя и более пулями, если число выстрелов равно 5000**.
Считая каждый выстрел за испытание и попадание в цель — за событие, мы можем для вычисления вероятности Р(д„ > 2) воспользоваться теоремой Пуассона. В рассматриваемом примере
ап = пр = 0,001 • 5000 = 5.
Искомая вероятность равна
Р{д„>2}= 2/>„(т)=1-Р„(0)-Ш
т =2
По теореме Пуассона
Р„(0) ~ с’5, Р„(1) = 5е-5.
Поэтому
Р{д„>2) ® 1-6е~5 ~ 0,9596.
Максимальное значение вероятность Рп(т^ принимает при т = 4 и т = 5. Эти вероятности равны с точностью до четвертого десятичного знака
Р(4) = Р(5) = 0,1751.
Вычисления по точной формуле дают с точностью до четвертого знака Лооо(О) =0,0071, PsoooCO =0,0354и, следовательно,
PUn> 2} = 0,9575.
*) В Великой Отечественной войне реальное осуществление условий нашей задачи имело место при обстреливании самолета из пехотного оружия. Пулей самолет может быть подбит лишь при попадании в немногие уязвимые места - мотор, летчик, бензобаки и пр. Вероятность попадания в эти уязвимые места отдельным выстрелом весьма мала, но, как правило, по самолету вело огонь целое подразделение, и общее количество выстрелов, выпущенных по самолету, было значительным. В результате вероятность попадания хотя бы одной или двумя пулями имела заметную величину. Это обстоятельство было подмечено и чисто практически.
Ошибка от использования асимптотической формулы меньше 0,25% вычисляемой величины.
Пример 2. На прядильной фабрике работница обслуживает по несколько сотен веретен, каждое из которых прядет свой моток пряжи. При вращении веретена пряжа из-за неравномерности натяжения, неровноты и других причин в моменты времени, зависящие от случая, рвется. Для производства важно знать, как часто могут происходить обрывы при тех или иных условиях работы (сорт пряжи, скорость веретен и т.д.).
Считая, что работница обслуживает 800 веретен и вероятность обрыва пряжи на каждом из веретен в течение некоторого промежутка времени т равна 0,005, найти наиболее вероятное число обрывов и вероятность того, что в течение промежутка времени т произойдет не более 10 обрывов.
Так как
ап = пр = 0,005 • 800 = 4,
то наиболее вероятных чисел обрывов за промежуток времени т будет два: 3 и 4. Их вероятности
Рвоо(3) = Р8оо(4)=С^оо 0.005 -0.995796.
По формуле Пуассона имеем:
43 Зэ
Доо(3) = Лоо(4)~у-4 = у г'4 =0,1954.
Точное значение Р8оо(3) = Р8Оо(4) = 0,1945. Вероятность того, что число обрывов за промежуток времени т будет не солее ' С равна
1.0«5
р{рп С 10} =2 ^8оо(т)= 1 -5 ^8со'т'.
m = 0m = 11
В силу теоремы Пуассона
4™
Лоо^) ~ е“4 (т = 0. 1.2, . . .),
поэтому
оо дт
Р {д„ < 10} = 1 — Sе-4.
т = 1 1 т\
Но
оо Д W/ д 11д 12413 \
2 с"4 > + +)е-4 =
т = п т!\ И!12!13! )
С другой стороны.
т = 11т = 114те-4 т'.4те-4 т'.4Н еИ!4Н еИ!-4-4412-4+е 412!412-4+е 412!
т = 11
т = 11
4т
е-4 т'.
4т
е-4 т'.
4Н е
И!
4Н е
И!
-4
-4
412-4
+е 412!
412-4
+е 412!
412 • 24.е'4 =0,00284.11!35412 • 24.е'4 =0,00284.11!3541Э4/4 V
412 • 24.
е'4 =0,00284.
11!35
412 • 24.
е'4 =0,00284.
11!35
+ е"4 1+ + 1I +..
13!14\ 14 /
Таким образом,
0,99716 < Р(д„< 10} < 0,99724.
Подобно тому, как и при использовании теоремы Муавра—Лапласа, возникает вопрос об оценке совершаемой ошибки при замене точной формулы для вычисления Рп (т) на асимптотическую формулу Пуассона).
Рп (0) =Рп (0) =п 1п^1 — еп 1п^1 — еИз равенства
Рп (0) =
Рп (0) =
п 1п^1 — е
п 1п^1 — е
=
/оо 1/ Q \ К 1
= ехр -и
I t = i к \ п / J
где
f ” 1 / ап
Rn = 1-ехр{ — п 5 —I —
I к =2 к \ П
мы легко можем найти эту оценку для случая т = 0. В самом деле, так как при любом положительном х 0 < 1 — е~х < х, то каковы бы ни были
ап и и
0 < Rn< п0 < Rn< п” 1 / “п5 - — к-2 к \ П” 1 / “п5 - — к-2 к \ П
0 < Rn< п
0 < Rn< п
” 1 / “п
5 - — к-2 к \ П
” 1 / “п
5 - — к-2 к \ П
Так как
оо 1 / П \ к-21 оо / п \ к
V 1 I \1 V I \
к=2 к \ П JIn3 fc = 3\ И /
ап2и(и -д„)ап2и(и -д„)а«а3па„ Зп - ап
ап
2и(и -д„)
ап
2и(и -д„)
_ — + _ —— .
2п , { а \ би п - ап
Зя3 1 1)
\ п /
то
2 (п -)
Из того, что Rn неотрицательно, мы заключаем, что при замене ЛДО) на е Сп мы несколько увеличиваем вероятность Рп (0).
§ 14. Иллюстрация схемы независимых испытаний
В качестве иллюстрации использования предыдущих результатов для целей естествознания мы рассмотрим весьма схематически проблему случайных блужданий частицы на прямой линии. Эта задача может рассматриваться как прообраз реальных физических задач теории диффузии, броуновского движения и пр.
Представим себе, что в определенные моменты времени частица, находящаяся в начальный момент в положении х = 0, испытывает случайные
толчки, в результате которых она получает смещение вправо или влево на единицу масштаба. Таким образом, в каждый из этих моментов частица с вероятностью 1/2 смещается на единицу вправо или с такой же вероятностью — на единицу влево. В результате п толчков частица переместится на расстояние д. Ясно, что в этой задаче мы имеем дело со схемой Бернулли в чистом виде. Отсюда следует, что при каждых лит мы можем вычислить
вероятность того, чтор = т; а именновероятность того, чтор = т; а именноР{ц = щ} =Р{ц = щ} =т + ит + и1\"— I , если — п 'Ll1\"— I , если — п 'Llт < п,т < п,
вероятность того, чтор = т; а именно
вероятность того, чтор = т; а именно
Р{ц = щ} =
Р{ц = щ} =
т + и
т + и
1\"
— I , если — п 'Ll
1\"
— I , если — п 'Ll
т < п,
т < п,
, если | т | > п.это следует из локальной теоремы Муавра—, если | т | > п.это следует из локальной теоремы Муавра—0
, если | т | > п.
это следует из локальной теоремы Муавра—
, если | т | > п.
это следует из локальной теоремы Муавра—
Р { р = т }Р { р = т }При больших значениях и, как Лапласа,
Р { р = т }
Р { р = т }
(1)
На полученную формулу мы сможем смотреть следующим образом. Пусть в начальный момент имелось большое число частиц, имеющих координату х = 0. Все эти частицы независимо друг от друга начинают перемещаться по прямой под влиянием случайных толчков. Тогда после п толчков доля частиц, переместившихся на расстояние т, дается формулой (1).
Понятно, что мы рассматриваем идеализированные условия движения частиц и реальные молекулы движутся при гораздо более сложных условиях, однако полученный результат дает правильную качественную картину явления.
В физике приходится рассматривать более сложные примеры случайных блужданий. Мы ограничимся столь же схематическим рассмотрением влияния 1) отражающей стенки, 2) поглощающей частицы стенки.
Представим себе, что на расстоянии s единиц вправо от точки х = 0 имеется отражающая стенка; так что частица, попавшая в какой-либо момент времени на эту стенку, при следующем толчке с вероятностью единица выбивается в том же направлении, откуда она пришла.
Для наглядности станем изображать положение частицы на плоскости (х, г). Путь частицы изобразится при этом в виде ломаной линии. При каждом толчке частица передвигается на единицу ’’вверх” и на единицу вправо или влево (каждый раз, когда х< s, с вероятностью половина). Если же х = s, то при очередном толчке частица сдвигается на единицу влево.
Для подсчета вероятности Р(д = т} поступим следующим образом: мысленно откинем стенку и разрешим частице двигаться свободно, как если бы не было стенки. На рис. 13 показаны такие идеализированные пути, приводящие в точки А и Д', симметрично расположенные относительно стенки. Ясно, что для того, чтобы реальная частица, двигаясь с отражениями, достигла точки А, необходимо и достаточно, чтобы частица, двигающаяся в идеализированной обстановке (без отражающей стенки), достигла либо точки А, либо точки А1. Но вероятность попасть в точку А в идеализированной обстановке, очевидно, равна
Точно так же вероятность попасть в точку А* равна (абсцисса точки А1 равна 2s - т)
,и!/1\"
Р {д = 2s - т) =( — I •
/ п - т \ / п + т \\ 2/
I s + I ! Is |!
\2/ \ 2/
Искомая вероятность, следовательно, равна
Рп (т; $) = Р{д = щ) + Р { р. = 2s - т}.
Если воспользоваться локальной предельной теоремой Муавра—Лапласа, то находим, что
m2(2s—т)2
Рп (m, s)I е 2п + е 2”
(k+i):<к-$Р2n + e 2n(k+i):<к-$Р2n + e 2nЭто известная формула из теории броуновского движения. Она приобретает более симметричный вид, если начало координат поместить в точке х = s и, следовательно, перейти к новой координате z по формуле г = х — s. В результате этой замены получим, что
(k+i):<к-$Р
2n + e 2n
(k+i):<к-$Р
2n + e 2n
Рп (z = к) = Рп (к * s, st = —-—— j еxfbvn I
Мы перейдем теперь к рассмотрению третьей схематической задачи, когда
на пути частицы поставлена в точке х =$ поглощающая перегородка. Частица, попавшая на перегородку, в дальнейшем движении участия уже не принимает. Очевидно, что в этом примере вероятность попасть в точку х = т (т< s) после п толчков будет меньше, чем Рп(т) (т.е. меньше вероятности попадания в эту точку,без поглощающей стенки); обозначим искомую вероятность символом Рп(т; s).
Для подсчета вероятности Рп(т; s) снова мысленно уберем поглощающую стенку и предоставим тем самым частице свободно двигаться по прямой. Частица, попавшая в некоторый момент времени в положение х = s, оказывается в последующие моменты времени справа и слева от прямой х = s с одной и той же вероятностью. Точно так же после попадания на прямую х = s частица с одной и той же вероятностью может попасть как в точку А (т, и), так и в точку A'(2s — т, и). Но в точку А1 частица может попасть, только попав предварительно в положение х = s, поэтому для всякого пути, ведущего в точку А', имеется путь, симметричный относительно прямой х = s и ведущий в точку Л; точно так же для всякого запрещенного в действительном движении пути, приводящем в точку А, существует симметричный относительно прямой х = s путь, приводящий в точку А' (рис. 14). При этом заметим, что мы рассматриваем симметрию
путей, только начиная с момента попадания на прямую х = s. Проведенные рассуждения показывают нам, что из путей, приводящих в точку А в идеализированном движении, мы должны отбросить при подсчете числа благоприятствующих случаев в реальном движении ровно столько, сколько путей ведет в точку А'. Отсюда, очевидно, следует, что
Рп(т, s) = Р {д = т }— Р {д = 2s — m}.
В силу локальной теоремы Муавра—Лапласа имеем:
m2(Is-m1)2
Pn(m,s^~—- fe 2n - е 2”}
V2wn
Упражнения
Рабочий обслуживает 12 однотипных станков. Вероятность того, что станок потребует к себе внимания рабочего в течение промежутка времени длительности т равна 1/3. Чему равна вероятность того, что
за время т 4 станка потребуют к себе внимания рабочего;
число требований к рабочему со стороны станков за время т будет между 3 и 6 (включая границы) ?
В некотором семействе имеется 10 детей. Считая вероятности рождений мальчика и девочки равными 1 /2, найти вероятность того, что в семействе
5 мальчиков и 5 девочек;
число мальчиков заключается между 3 и 8.
В обществе, состоящим из 4 человек, дни рождений трех приходятся на один месяц, а четвертого - на один из остальных одиннадцати. Считая вероятность рождения в течение каждого из месяцев для каждого лица равной 1/12, найти вероятность того, что
указанные три лица родились в январе, а четвертое лицо в октябре;
три лица родились в каком-то одном месяце, а четвертое в каком-то из остальных одиннадцати.
При 14 400 бросаниях монеты герб выпал 7428 раз. Как вероятно столь большое или большее уклонение числа выпадений герба от пр, если монета симметрична (т.е. вероятность выпадения герба в каждом испытании равна 1/2) ?■
К электросети подключено п приборов, каждый мощностью а киловатт и потребляет в данный момент энергию с вероятностью р. Найти вероятность того, что потребляемая в данный момент мощность
окажется меньше чем тар;
превзойдет тар (г > 0) при условии, что пр велико.
В одном из учебных заведений обучаются 730 студентов. Вероятность того, что день рождения наудачу взятого по списку студента приходится на определенный день года, равна 1/365 для каждого из 365 дней. Найти
наиболее вероятное число студентов, родившихся 1 января.
вероятность того, что найдутся три студента, имеющие один и тот же день рождения.
Известно, что вероятность выпуска сверла повышенной хрупкости (брак) равна 0,02. Сверла укладываются в коробки по 100 штук. Чему равна вероятность того, что
в коробке не окажется бракованных сверл;
число бракованных сверл окажется не более 3;
сколько нужно класть в коробку сверл, чтобы с вероятностью, не меньшей 0,9, в ней было не менее 100 исправных?
Указание. Воспользоваться распределением Пуассона.
В страховом обществе застраховано 10000 лиц одного возраста и одной социальной группы. Вероятность смерти в течение года для каждого лица равна 0,006- Каждый застрахованный вносит 1 января 12 руб. страховых и в случае смерти его родственники получают от общества 1000 руб. Чему равна вероятность того, что а) общество потерпит убытки;
б) получит прибыль, не меньшую 40000, 60 000, 80 000 руб.?
Доказать теорему: если Р и Р* - вероятности наиболее вероятного числа появлений события А в п и п + 1 независимых испытаниях (в каждом из испытаний Р (Д) = р), то Р*< Р; равенство исключается, если (п + 1) р - не целое число.
В схеме Бернулли р = 1/2. Доказать, что:
а) —< Pin 0О < —,S
2 Vйх/2и + 1
б)б)limП-»ооlimП-»ооЛп(« ± ^Л и 0ОЛп(« ± ^Л и 0О
б)
б)
lim
П-»оо
lim
П-»оо
Лп(« ± ^Л и 0О
Лп(« ± ^Л и 0О
если z = h! ^п (0 < z < +“).
Доказать, что при npq > 25
Рп № = —; —' г 'jTnpqРп № = —; —' г 'jTnpq2 Г t +I + дL 6 Jnpq ]2 Г t +I + дL 6 Jnpq ]
Рп № = —; —' г 'jTnpq
Рп № = —; —' г 'jTnpq
2 Г t +I + д
L 6 Jnpq ]
2 Г t +I + д
L 6 Jnpq ]
где
т - прт - пр3 /
т - пр
т - пр
0,15 + 0,25 ip -q Ixjnpq
I z | e 2
V<npqy
Произведено n независимых испытаний. Вероятность появления события А и Лм испытании равна рр, Pn(jn^ - вероятность m-кратного появления события А в п испытаниях. Доказать, что
MV) > Pn^ >> PnW .
Рп (0) р„ (1)’ Р„ (и - 1) ’
б) Рп(т) сначала возрастает, а затем убывает (если только Рп(0) или Рп(п) сами не являются максимальными).
z2
Доказать, что при х > 0 функция / е 2 dz удовлетворяет неравенствам
—-X2 ооZ2
2< J е 2 dz < 1 е 2
хх
Задача Банаха. Некий математик носит с собой две коробки спичек. Каждый раз, когда он хочет достать спичку, он выбирает наугад одну из коробок. Найти вероятность того, что когда математик вынет пустую коробку, в другой коробке окажется г спичек (г = 0, 1, 2, . . . , п; п - число спичек, бывших первоначально в каждой из коробок).
К линии электропередачи подключено п механизмов. Вероятность того, что механизм, потребляющий энергию в момент времени t прекратит ее потребление до момента г + ДГ, равна аДГ + о(ДГ). Если в момент t механизм не потребляет энергии, то вероятность того, что он станет ее потреблять до момента t * Ы равна 0ДГ +и(Д/) независимо от работы других механизмов. Составить дифференциальные уравнения, которым удовлетворяют вероятности Рг(Г) того, что в момент t энергию потребляют г механизмов.
Примечание. Легко указать конкретные осуществления условий этой задачи: движение трамваев, электросварка, потребление энергии станками с автоматическим выключением и пр.
Один рабочий обслуживает и однотипных станков-автоматов. Если в момент Z станок работает, то вероятность того, что он потребует обслуживания до момента / + дг равна аД? + о(ДТ). Если в момент г рабочий обслуживает какой-нибудь станок, то вероятность того, что он закончит обслуживание до момента z + дг, равна р дт + o(ДZ). Составить дифференциальные уравнения, которым удовлетворяют вероятности РГ(Л того, что в момент t работают п - г станков, один обслуживается иг - 1 ожидаюг очереди на обслуживание ф0 (Z) - вероятность того, что все станки работают).
Примечание. Нетрудно аналогичным путем составить дифференциальные уравнения для более сложной задачи, когда N станков обслуживает бригада из к рабочих. Для практических целей важно сравнить экономичность гой и другой системы организации труда. С этой целью следует изучить установившийся режим, т.е. рассмотреть вероятности Рг (г) при z -••<”.
Оказывается, работа бригады, обслуживающей кп станков выгоднее как в смысле лучшего использования рабочего времени станка, так и рабочего времени рабочего, чем обслуживание одним рабочим п станков.
ГЛАВА 3
ЦЕПИ МАРКОВА
. Определение цепи Маркова
Непосредственным обобщением схемы независимых испытаний является схема так называемых цепей Маркова, впервые систематически изученная известным русским математиком А.А. Марковым. Мы ограничимся изложением элементов его теории.
Представим себе, что производится последовательность испытаний, в каждом из которых может осуществиться одно и только одно из к несовместимых событий А^ , А^Aks^ (верхний индекс, как и в предыдущей главе, обозначает номер испытания). Мы скажем, что последовательность испытаний образует цепь Маркова, точнее, простую цепь Маркова, если условная вероятность в s * \-м испытании (s = 1, 2, 3,.. .) осуществиться событию Ар+1^ (z = 1, 2, . . . . к} зависит только от того, какое событие произошло при s-м испытании и не изменяется от добавочных сведений о том, какие события происходили в более ранних испытаниях.
Часто при изложении теории цепей Маркова придерживаются иной терминологии и говорят о некоторой физической системе S, которая в каждый момент времени может находиться в одном из состояний Ах, А2, ■ . . , Ак и меняет свое состояние только в моменты г,, г2/„,... Для цепей Маркова вероятность перейти в какое-либо состояние A; (z=l,2,..., Л) в момент ts зависит только от А, и того, в каком состоянии система находилась в момент t^ts_x </</$),ине изменяется от того, что становятся известными ее состояния в более ранние моменты.
Для иллюстрации рассмотрим два схематических примера.
Пример 1. Представим себе, что частица, находящаяся на прямой, движется по этой прямой под влиянием случайных толчков, происходящих в моменты 11; / 2- /з- • • ■ Частица может находиться в точках с целочисленными координатами а, а +1, а + 2, . . . , Ь; в точках а и Ь находятся отражающие стенки. Каждый толчок перемещает частицу вправо с вероятностью р и влево с вероятностью q = 1 — р. если только частица не находится у стенки. Если же частица находится у стенки, то любой толчок переводит ее на единицу внутрь промежутка между стенками Мы видим, что проведенный пример блуждания частицы представлят собой типичную цепь Марко-
ва. Точно также можно бы было рассмотреть случай, когда частица прилипает к одной из стенок или к обеим из них.
Пример 2. В модели Бора атома водорода электрон может находиться на одной из допустимых орбит. Обозначим через Л,- событие, состоящее в том, что электрон находится на z-й орбите. Предположим далее, что изменение состояния атома может наступать только в моменты Г], Г2, ?з, • • • (в действительности эти моменты представляют собой случайные величины) . Вероятность перехода с z-й орбиты на /-ю в момент ts зависит только от z и / (разность / — i зависит от количества энергии, на которую изменился заряд атома в момент г$) и не зависит от того, на каких орбитах находился электрон в прошлом.
Последний пример представляет собой цепь Маркова с бесконечным (правда, только в принципе) числом состояний; этот пример был бы несравненно ближе к реальной обстановке, если бы моменты перехода нашей системы в новое состояние могли меняться непрерывно.
. Матрица перехода
Мы ограничимся далее изложением простейших фактов для однородных цепей Маркова, в которых условия вероятность появления события Лр+1) в (s + 1)-м испытании при условии, что в s-м испытании осуществилось событие А^, не зависит от номера испытания. Мы назовем эту вероятность вероятностью перехода и обозначим буквой р^; в этом обозначении первый индекс всегда будет обозначать результат предшествующего испытания, а второй индекс указывает, в какое состояние перейдет система в последующий момент времени.
Полная вероятностная картина возможных изменений, осуществляющихся при переходе от одного испытания к непосредственно следующему, задается матрицей
(
Ри Р1 2 • • • Pi л\
Р2 1 Р2 2 ■ • ■ Pl k I I .
Рк1 Рк2 ■ ■ ■ Ркк/ составленной из вероятностей перехода, которую мы будем называть матрицей перехода.
Отметим, каким условиям должны удовлетворять элементы этой матрицы. Прежде всего они, как вероятности, должны быть неотрицательными числами, т.е. при всех z и/
0< Рц^Х.
Далее из того, что при переходе из состояния Ар^ в s-м испытании систе-
ма обязательно переходит в одно и только в одно из состояний Л^ + 1^, в (s + 1)-м испытании вытекает равенство
к
2 Рц = 1 (1= 1,2,..., к-).
i= 1
Таким образом, сумма элементов каждой строки матрицы перехода равна единице.
Наша первая задача в теории цепей Маркова состоит в определении вероятности перехода из состояния Л^) в s-м испытании в состояние Ар*п^ через и испытаний. Обозначим эту вероятность знаком РцСрУ
Рассмотрим какое-нибудь промежуточное испытание с номером s + т. В этом испытании осуществится какое-то одно из возможных событий ^О + т) (1 < г < fc). Вероятность такого перехода, согласно с только что введенными обозначениями, равна Pjr (т). Вероятность же перехода из состояния Ар+т^ в состояние Арравна Prj(n - ту По формуле полной вероятности
к
Рц^ = 2 Р;Лт^) .Рп(п-т\(1)
г= 1
Обозначим через ттп матрицу перехода через и испытаний
/ Pj т^ЛгСи) . . . РХМ
VklWPklW ■ - ■ PkkW
Согласно (1) между матрицами irs с различными индексами существует соотношение
^п ~ ^т " ^п — т(0 т < и).
В частности, при п = 2 находим, что
7Г2 ~ 7Г1 * 7Г ] ~ 77 i
при и = 3
ТГз = 7ГI - 772 = 772 ' ^ 1 = ^1
и вообще при любом и
Отметим частный случай формулы (1): при т = 1 п
Pjj (n)= 2 PirPrj{n - 1). r= 1
В качестве упражнения предлагается читателю написать матрицу перехода для первого примера предыдущего параграфа.
Теорема о предельных вероятностях
Теорема. Если при некотором s > 0 все элементы матрицы перехода тт$ положительны, то существуют такие постоянные числа р, у = 1,2,..., к), что независимо от индекса i имеют место равенства
Игл Р0(п) = р,.
Доказательство. Идея доказательств этой теоремы весьма проста: сначала устанавливается, что наибольшая из вероятностей Рц(п) с ростом п не может возрастать, а наименьшая не может убывать; далее показывается, что максимум разности Р^пу-Р^п) (i, 1 = 1, 2, . . . , к) стремится к нулю, когда п -*°°. Этим доказательство теоремы, очевидно, завершается. Действительно, в силу известной теоремы о пределе монотонной последовательности мы заключаем из первых двух указанных свойств вероятностей Pij(n), что существуют
lim min PijW ~ "Pj
И
lim max Р.^п) = pt.
А так как в силу третьего из указанных свойств
lim max | Р^Ап) -Р^п) | = О, /7-^оо кц<к
ТО
Pi = Pi = Pj.
Мы перейдем теперь к осуществлению намеченного плана. Заметим прежде всего, что при п > 1 имеет место неравенство
кк
Рц^ = 2 Ри?ц<п - 1)> min ^(nl) 2 ри =
/=1KZCfc/=1
= min PZ/(n - 1).
KKt
ИЗИЗ§ 17. Теорема о предельных вероятностях
ИЗ
ИЗ
Это неравенство имеет место при каждом i, в частности при том, при котором
^(и) = min ЛДи).
1
Таким образом,
min РАп) > min РАп - 1).
KtXk1</</с
Подобным же путем легко обнаружить, что
max ^(и) < max Р,;(и — 1).
Мы можем считать, что и > s, и поэтому имеем право записать по формуле (1),что
к
PiM = S pir^ Ри<п-$у
Рассмотрим разность
к
Рц^ -PljW = 5 Pir(s)Pri(n - s) - s P^s) -Ри(п - s) =
к
= 2 VPir^ -Pk(s)\ P^n-sY
Обозначим положительные разности Pir(s)-Pk(s) символом P^ , а неположительные разности через - S»^. Так как
кк
S Рк^ = 2 P^s) = 1, г=1/ = 1.
ТО
к
S [P/r(s) - Рк(5)] = 2 р^ - 2 ^О = о.(2)
Г=1(О(г)Х
Из этого равенства заключаем, что
*"= z, ^ =Л №'•
(О (О
Так как по предположению при всех / и г (i, г = 1, 2, 3,..., к^ Pir ($) >0, то к
5 ^ < 2 Рп^ = 1.
(г)Г=1
Таким образом,
О < Л„< 1.
Пусть
h = max hn.
Ki,Kk
Так как число возможных исходов конечно, то наряду с величинами hH величина h удовлетворяет неравенствам
0<Л<1.(3)
Из (1) находим, что при любых i и I (i, I = 1, 2,. .. , к)
\Рц(п) -Р„(п)\ -12 ^P^n-s)- 2 ^Prj(n-s>\C
ОА(г)
< | max Рп(п - s) 2 ^r) - min Pr/(n - s) 2 /З^ | <
Kr<k(r)Krtfc(r)
< h | max PrAn — s) — min Pri(n — s) I < Krtkl<r<fc
< h max | Р;Лп - s) - Рц(п - s) | Ki.Kk
и, следовательно, также
max \Ри(п)-Рц<Р)\ Ch1 < i,Kkmax \Ри(п)-Рц<Р)\ Ch1 < i,Kkmax | PjAn - s) - Ph(n - $)| . Ki,Z<fcmax | PjAn - s) - Ph(n - $)| . Ki,Z<fc
max \Ри(п)-Рц<Р)\ Ch
1 < i,Kk
max \Ри(п)-Рц<Р)\ Ch
1 < i,Kk
max | PjAn - s) - Ph(n - $)| . Ki,Z<fc
max | PjAn - s) - Ph(n - $)| . Ki,Z<fc
Применив это неравенствоПрименив это неравенствоnsnsраз, найдем, чтораз, найдем, что
Применив это неравенство
Применив это неравенство
n
s
n
s
раз, найдем, что
раз, найдем, что
Г и 1max \ Р(Ап) - Рц^п^С h1-5 maxl-^i.I^kKi.KkГ и 1max \ Р(Ап) - Рц^п^С h1-5 maxl-^i.I^kKi.Kkпsпs
Г и 1
max \ Р(Ап) - Рц^п^С h1-5 maxl-^i.I^kKi.Kk
Г и 1
max \ Р(Ап) - Рц^п^С h1-5 maxl-^i.I^kKi.Kk
п
s
п
s
- Pij\n-- Pij\n-
- Pij\n-
- Pij\n-
Так как всегда | Р() (т) — Рц(т) | < 1, то ясно, что
Г”1
max \Pij(n)-Pi/(n)\ С hts J ■
^i.ICk
УпражненияУпражнения115115При и ^°° такжеПри и ^°° такжепоэтому в силу (3) отсюда следует, что
Упражнения
Упражнения
115
115
При и ^°° также
При и ^°° также
lim max | Рц(п)-Рц(п) | = 0. n-*°° Y^i^Kk
Из доказанного заключаем также, что к
5 Pj = 1.
7=1
Действительно, кк
S р, = lim 2 Рц(п) = lim 1 = 1.
/-1Л~*«> j- 1п-*00
Таким образом, на величины р, можно смотреть как на вероятности появления исхода Ар ^ при n-м испытании, когда и велико.
Физический смысл доказанной теоремы ясен: вероятность системе находиться в состоянии А; практически не зависит от того, в каком состоянии она находилась в далеком прошлом.
Только что обнаруженная теорема была впервые доказана творцом теории цепных зависимостей А.А. Марковым: она явилась первым строго доказанным результатом среди так называемых эргодических теорем, играющих важную роль в современной физике и инженерном деле.
Упражнения
Вероятности перехода даются матрицей
1/31/31/31/31/31/31/6
1/3
1/3
1/3
1/3
1/3
1/3
1/6
1/6
Чему равно число состояний? Найти вероятности перехода из состояния в состояние за два шага.
Электрон может находиться на одной из счетного множества орбит в зависимости от наличной энергии. Переход с /й орбиты на /ю происходит за одну секунду с вероятностью
Найти: а) вероятности перехода за две секунды, б) постоянные ср
Вероятности перехода даются матрицей
(о
1/2
1/2
7Г) "1
1/2
0
1/2
U/2
1/2
0
Применима ли в данном случае эргодическая теорема Маркова? Если да, то найти предельные вероятности.
ГЛАВА 4
СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
. Основные свойства функций распределения
Одним из основных понятий теории вероятностей является понятие случайной величины. Прежде чем переходить к формальному его определению, мы остановимся на рассмотрении примеров.
Число космических частиц, попадающих на определенный участок земной поверхности в течение промежутка времени определенной длины, подвержено значительным колебаниям в зависимости от многих случайных обстоятельств.
Число вызовов, поступивших от абонентов на телефонную станцию в течение определенного промежутка времени, не остается постоянным, а подвержено значительным случайным колебаниям.
Размер уклонения точки падения снаряда от центра цели определяется большим количеством разнообразных причин, носящих случайный характер. В результате в теории стрельбы вынуждены считаться с явлением рассеивания снарядов около центра цели как со случайным явлением и рассматривать указанные уклонения как случайные величины.
Скорость молекулы газа не остается неизменной, а меняется в зависимости от столкновений с другими молекулами. Этих столкновений очень много даже в течение короткого промежутка времени. Зная скорость молекулы в данный момент, нельзя с полной определенностью указать ее значение, скажем, через 0,01 или 0,001 секунды. Изменение скорости молекулы носит случайный характер.
Приведенные примеры показывают с достаточной определенностью, что со случайными величинами приходится иметь дело в самых разнообразных областях науки и техники. Возникает естественная и притом весьма важная задача создания методов изучения случайных величин.
Несмотря на Всю разнородность конкретного содержания приведенных нами примеров, все они с точки зрения математики представляют одну и ту же картину. А именно, в каждом примере мы имеем дело с величиной, так или иначе характеризующей исследуемое явление. Каждая из этих величин под влиянием случайных обстоятельств способна принимать различные значения. Заранее предсказать, какое значение примет эта величина, нельзя, так как оно меняется случайным образом от испытания к испытанию.
Таким образом, для того чтобы знать случайную величину, прежде всего необходимо знать те значения, которые она может принимать. Однако одного перечня значений случайной величины еще недостаточно, чтобы по ним можно было делать какие-либо существенные выводы. Действительно, если в третьем примере рассмотреть газ при разных температурах, то возможные значения скоростей молекул останутся теми же самыми, тогда как состояния газа будут различны. Таким образом, для задания случайной величины необходимо знать не только, какие значения может она принимать, но и как часто, т.е. с какой вероятностью она принимает эти значения.
Разнообразие случайных величин весьма велико. Число принимаемых ими значений может быть конечным, счетным или несчетным; значения могут быть расположены дискретно или заполнять интервалы сплошь или же не заполнять интервалы, но располагаться всюду плотно. Для того чтобы задавать вероятности значений случайных величин, столь различных по своей природе, и притом задавать их одним и тем же способом, в теории вероятностей вводят понятие функции распределения случайной величины.
Пусть £ — случайная величина их- произвольное действительное число. Вероятность того, что £ примет значение, меньшее чем х, называется функцией распределения вероятностей случайной величины ^:
F(x) = Р{£ <х} .
Условимся в дальнейшем, как правило, случайные величины обозначать греческими буквами, а принимаемые ими значения - строчными латинскими.
Резюмируем сказанное: случайной величиной называется величина, значения которой зависят от случая и для которой определена функция распределения вероятностей).
Рассмотрим примеры функций распределения.
Пример 1. Обозначим через ц число появлений события А в последовательности п независимых испытаний, в каждом из которых вероятность его появления постоянна и равна р. В зависимости от случая д может принимать все целочисленные значения от 0 до и включительно. Согласно результатам главы 2
Р,Ат) ^U^ = C™pmqnm
Само собой разумеется, что этими словами мы не дали математического определения новому понятию, а только описали то общее представление, которое складывается у человека, знакомящегося с реальными примерами случайных величин.
Функция распределения величины ц определяется следующим способом:
0
ДЛЯ
х <0,
F(x) =
2 Pn(k( k<x
ДЛЯ
0 < х <и
1
ДЛЯ
X > п.
Функция распределения представляет собой ступенчатую линию со скачками в точках х = 0, 1,2,. .., п; скачок в точке х = к равен Рп (к).
Рассмотренный пример показывает, что так называемая схема Бернулли может быть включена в общую теорию случайных величин.
Пример 2. Пусть случайная величина £ принимает значения 0, 1,2,. .. с вероятностями
рп = P{g = n} = (и = 0, 1,2, . . .),
п\
где X > 0 — постоянная. Функция распределения величины £ представляет собой как бы лестницу с бесконечным числом ступенек, со скачками во всех неотрицательных целочисленных точках. Величина скачка в точке х = п равна р„; при х < О имеем F (х) = 0. Про случайную величину, рассмотренную в настоящем примере, говорят, что она распределена по закону Пуассона.
Пример 3. Мы скажем, что случайная величина нормально распределена, если ее функция распределения имеет вид
х _ (z -а)2
Ф(х) = С f е 2”2 \dz,
где С > 0, о > 0, а - постоянные. Впоследствии мы установим связь между постоянными а и С и выясним теоретико-вероятностный смысЛ параметров а и а. Нормально распределенные случайные величины играют особо важную роль в теории вероятностей и ее приложениях, в дальнейшем у нас будет много поводов убедиться в этом.
Заметим, что если в двух первых рассмотренных нами примерах случайные величины могли принимать только конечное или счетное множество значений (дискретные величины), то случайные величины, распределенные по нормальному закону могут принимать значения из любого интервала. Действительно, как мы увидим ниже, вероятность нормально распределенной случайной величине принять значение, заключающееся в интервале xt <? < х2, равна
X, (z -а)2
Ф(Х2)-Ф(Х!) = С / С 1ог dz
и, следовательно, при любых Xj их2(х, ^х2) положительна.
После сделанных нами замечаний интуитивного характера можно перейти и к изложению принятого теперь строго формального определения случайной величины.
В соответствии с общим аксиоматическим понятием случайного события, мы будем исходить из множества элементарных событий Г2. Каждому элементарному событию си поставим в соответствие некоторое число
Мы скажем, что £ есть случайная величина, если функция / (ш) измерима относительно введенной в рассматриваемом множестве ^вероятности. Иначе говоря, мы требуем, чтобы для каждого измеримого по Борелю множества Л ^ значений | множество Лш тех со, для которых/(со) СЛ^ принадлежало множеству F случайных событий и, следовательно, для него была бы определена вероятность
РЦСА^ =PUJ.
В частности, если множество Л^ совпадает с полупрямой £ < х, то вероятность Р (Лш) есть функция переменного х
PU<xVPUJ =F(x).
которую мы назвали функцией распределения случайной величины £.
Пример 4. Рассмотрим последовательность п независимых испытаний, в каждом из которых вероятность появления события Л постоянна и равна р. В этом примере элементарные события состоят из последовательностей появлений и непоявлений события А в п испытаниях. Так, одним из элементарных событий будет появление события А в каждом из испытаний. Всего, как нетрудно подсчитать, будет 2” элементарных событий.
Определим функцию р = f (со) от элементарного события си так: она равна числу появлений события А в элементарном событии со. Согласно результатам главы 2
Р{д = П = Рп^ = Cknpkqn-k.
Измеримость функции р = /(со) в поле вероятностей непосредственно очевидна. Отсюда, согласно определению, заключаем, что р есть случайная величина.
Пример 5. Произведены три наблюдения за положением молекулы, двигающейся по прямой линии. Множество элементарных событий состоит из точек трехмерного евклидова пространства R3. Множество случайных событий F состоит из всевозможных борелевских множеств пространства R3.
Для каждого случайного события А определим вероятность Р {А } посредством равенства
Р{Л} =-^Чх^А dXidXidx3
(о х<2тт) А
Рассмотрим теперь функцию § = /(ш) элементарного события, определенную посредством равенства
1
£ = — (х 1 + х2 +х3).
3 ■
Эта функция измерима относительно введенной нами вероятности, поэтому £ является случайной величиной. Для нее функция распределения равна
1-^ <хк - а>2
F(x)=P{g<x} =— Ш е 20 k=v X
(ах/2тг)3 х 1 +х: +хз <Зх
1х _ 3_(га£_
X dxldx2dx3 =z — J е 2°2 dz.
*/ 2
а V — л
3
С только что развитой точки зрения действия над случайными величинами сводятся к известным операциям над функциями. Так, если £i и §2 являются случайными величинами, т.е. измеримыми относительно введенной вероятности функциями
Si =Л(ы),^2=№),
то любая борелевская функция от них также является случайной величиной. Для примера
f = S. + ?2
измерима относительно введенной вероятности и потому является случайной величиной.
Позднее мы разовьем только что сделанное замечание и получим ряд важных для применений результатов. В частности, мы выведем формулы для функции распределения суммы и частного двух случайных величин по распределению слагаемых.
При помощи функции распределения случайной величины £ можно определить вероятность неравенства х^ < £ < х2 при любых xv и х2. В самом деле, если через А обозначить событие, состоящее в том, что £ примет значение, меньшее чем х2, через В — событие, состоящее
в том, что £ < X], и, наконец, через С — событие Xi <£ < х2, то, очевидно, имеет место следующее равенство:
А = В + С.
Так как события ВиС несовместимы, то
Р(Л) = Р(5) + Р(С).
Но
Р(Л) = F(x2), P(B) = F(xa, P(Q = Р{х, <£<х2}, .
поэтому
P{Xi С£<х2} = F<x^-F(xvy(1)
Так как, по определению вероятность есть неотрицательное число, то из равенства (1) следует, что при любых X] и х2 (х2 > х,) имеет место неравенство
F(x2) > F(x,),
т.е. что функция распределения любой случайной величины есть неубывающая функция.
Очевидно, далее, что функция распределения F (х) при любом х удовлетворяет неравенству
О < F(x) < 1.(2)
Мы скажем, что функция распределения F (х) имеет при х = х0 скачок, если
F(x0 + 0) - F(x0 - 0) = Со > 0.
Функция распределения может иметь не более чем счетное множество скачков. В самом деле, скачков размера, большего 1/2, функция распределения может иметь не более одного; скачков размера от одной четвертой до половины (1/4 < Со < 1/2) — не более трех. Вообще скачков размером от 1/2" до 1/2"-1 может быть не более чем 2" — 1. Совершенно ясно, что мы можем пронумеровать все скачки, расположив их по величине, начиная с больших значений и повторяя равные значения столько раз, сколько скачков этой величины имеет функция F(x).
Установим еще несколько общих свойств функций распределения. Определим F(— °°) и F(+ °°) равенствами
F(_ — °°) =1™ F^— п). F(+ °°) = Нш F(+ п)
П -> 4-00п -* ОО
и докажем, что
F(-oo) = о, F(+°°) = 1.
Действительно, так как неравенство 5 < + 00 достоверно, то
Р{£ < + ==}= 1.
Обозначим через Qk событие, состоящее в том, что к — 1 < £ < к. Так как событие £ < + °° эквивалентно сумме событий Qk, то на основании расширенной аксиомы сложения
?{£<+«}= 2 PVQkL
Следовательно, при п 00 пп
2?Ш=2 ЦЧЮ-ГСк- 1)] = F<n)-F(-n)1.
к = 1 — ик = 1 - и
Отсюда, принимая во внимание неравенства (2), заключаем, что при п ->°°
F(-h) -> 0, F(+n) -> 1.
Функция распределения непрерывна слева.
Выберем какую-нибудь возрастающую последовательность х0 < Xi < < хг < .. .< хп< ..., сходящуюся к х.
Обозначим через Ап событие {х„ < £ < х}. Тогда ясно, что А, С А,, при z > /, и произведение всех событий Ап есть невозможное событие. По аксиоме непрерывности должно быть
lim Р(АИ) = lim {F(x) — F(xn)} = й -» ооп -* оо
= F(x) - lim F(x„) = F(x) - F(x - 0) = 0,
что и требовалось доказать.
Точно так же можно доказать, что
Р{£ < х} = F(x + 0).
Мы видим, таким образом, что каждая функция распределения является неубывающей, непрерывной слева и удовлетворяющей условиям F(—°°) =0uF(t°°) = 1 функцией. Верно и обратное: каждая функция, удовлетворяющая перечисленным условиям, может рассматриваться как функция распределения некоторой случайной величины.
Заметим, что в то время как каждая случайная величина однозначно определяет свою функцию распределения, существует сколько угодно различных случайных величин, имеющих одну и ту же функцию распределения. Так, если £ принимает два значения —1 и +1, каждое с вероятностью 1/2 и р = — £, то ясно, что всегда £ отлична от р. Тем не менее обе эти
случайные величины имеют одну и ту же функцию распределения
F(r) =F(r) =О 1/21О 1/21при X < —1,при X < —1,при -1 < X < 1,при -1 < X < 1,при X > 1.при X > 1.
F(r) =
F(r) =
О 1/2
1
О 1/2
1
при X < —1,
при X < —1,
при -1 < X < 1,
при -1 < X < 1,
при X > 1.
при X > 1.
. Непрерывные и дискретные распределения
Иногда поведение случайной величины характеризуют не заданием ее функции распределения, а каким-либо иным способом. Всякая такая характеристика носит название закона распределения случайной величины, если только по определенным правилам можно получить из нее функцию распределения. Так, законом распределения будет функция интервала P{xi, х2}, представляющая собой вероятность неравенства xt < £ < х2. Действительно, зная P{xt, х2}, мы можем найти функцию распределения по формуле
F(x) = Р{ — °°, х}.
Мы уже знаем, что и по Г(х) можно найти для любых Xj и х2 функцию F{x,,x2}: P{xlt х2} = F(x2)— F (х j ).
Часто в качестве закона распределения полезно брать функцию множества PlEY определенную для всех борелевских множеств и представляющую собой вероятность того, что случайная величина £ примет значение, принадлежащее множеству Е. Вероятность /'{£’}, в силу расширенной аксиомы сложения, есть вполне аддитивная функция множества, т.е. для любого множества Е, представляющего собой сумму конечного или счетного числа непересекающихся множеств Ек:
P{F}= SP{Ffc}.
Из всевозможных случайных величин мы выделим прежде всего те, которые могут принимать только конечное или счетное множество значений. Такие величины мы будем называть дискретными. Для полной вероятностной характеристики дискретной случайной величины £, принимающей с положительными вероятностями значения Xi, х2, х3,..., достаточно знать вероятности pk = Р {£ = хк } ) . Очевидно, что по совокупности вероятностей рк можно определить функцию распределения F (х) посредством равенства
F(x) = Ърк,
в котором суммирование распространяется на все те индексы, для которых Хк < X.
Функция распределения любой дискретной величины разрывна, возрастает скачками при тех значениях х, которые являются возможными
значениями £. Величина скачков функции Fix) в точке х, как мы выяснили ранее, равна разности F (х + 0) — F (х).
Если два возможных значения величины £ разделены интервалом, в котором других возможных значений £ нет, то в этом интервале функция распределения Fix') постоянна. Если возможных значений £ конечное число, например п, то функция распределения F (х) представляет собой ступенчатую кривую с п + 1 интервалом постоянства. Если же возможных значений £ имеется счетное множество, то это последнее может быть и всюду плотным, так что интервалов постоянства у функции распределения дискретной случайной величины может и не быть. Пусть доя примера возможными значениями § будут все рациональные числа и только они. Пусть эти числа занумерованы каким-нибудь способом: гх г2,... и вероятности Р{£ = гк) = рк определены посредством равенстварк = ))2к. В нашем примере все рациональные точки являются точками разрыва функции распределения.
В качестве другого важного класса случайных величин мы выделим те из них, для которых существует неотрицательная функция р(х), удовлетворяющая при любых х равенству
F(x) = J p(z)dz.
Случайные величины, обладающие этим свойством, называются непрерывными; функция р (х) называетсядоотлосгью распределения вероятностей.
Отметим, что плотность распределения вероятностей обладает следующими свойствами:
р (х) > 0.
При любых Xi и х2 удовлетворяет равенству х2
P(xt < £ < х2} = J p(x)dx.
В частности, если р (х) непрерывна в точке х, то с точностью до бесконечно малых высших порядков Р{х < £ < х + dx) = pix)dx.
Jpx)dx = 1.
Величины, распределенные по нормальному или равномерному закону*), дают нам примеры непрерывных случайных величин.
Пример. Рассмотрим ближе нормальный закон распределения. Для него плотность распределения вероятностей равна
(х - а)2
р(х) = С- ер(х) = С- е2а2
р(х) = С- е
р(х) = С- е
Постоянное С определяется, исходя из свойства 3. Действительно, _ (х ~ "^
С$е 2ст2 dx = 1.
х - а
Заменой переменных = z это равенство приводится к виду о
CoSe^^dz = 1.
Интеграл, стоящий в правой части этого равенства, известен под именем интеграла Пуассона, причем
/e~z '2dz = V 2тг.
Таким образом, находим, что
1
С =
о V 2т
(X - а)22а2(X - а)22а2и, значит, для нормального распределения
(X - а)22а2
(X - а)22а2
1
Р(х) = ~ е
а V 2т
Функция р (х) достигает максимума при х = а, имеет точки перегиба при х = ato- ось абсцисс служит для нее асимптотой при х -> ±°°. Для иллюстрации влияния параметра а на форму графика плотности нормального распределения мы приводим на рис. 15 графики р(х) при а = 0 и 1) а2’ = 1/4, 2) а2 = 1, 3) о2 = 4. Мы видим, что чем меньше значение а, тем кривая р(х) имеет большее значение максимума и падает
круче. Это означает, в частности, что вероятность попасть в интервал (— а, а) больше для той случайной величины, распределенной по нормальному закону (с параметром а = 0), для которой величина а меньше. Мы, следовательно, можем считать о характеристикой разбросанности значений величины £. При а * 0 кривые плотностей имеют ту же форму, но сдвинуты вправо (л > 0) или влево (л < 0) в зависимости от знака параметра а.
Помимо дискретных и непрерывных случайных величин существуют, разумеется, и другие случайные величины. Кроме величин, которые ведут себя в одних интервалах как непрерывные, а в других как дискретные, имеются величины, не являющиеся ни в одном интервале ни дискретными, ни непрерывными. К таким случайным величинам относятся, например, все те, функции распределения которых непрерывны, но при этом возрастают только на множестве лебеговской меры нуль. В качестве примера такой случайной величины приведем величину, имеющую функцией распределения известную кривую Кантора. Напомним построение этой кривой. Величина £ принимает только значения между нулем и единицей. Следовательно, ее функция распределения удовлетворяет равенствам
F(x) = 0 при х < 0, F(x) = 1 при х > 1.
Внутри интервала (0, 1) 5 принимает значения только в первой и последней его третях, в каждой с вероятностью 1/2. Таким образом,
F(x) = 1/2 при 1/3 < х < 2/3.
В интервалах (0, 1/3) и (2/3, 1) £ снова может принимать значения только в первой и последней трети каждого из них, в каждой с вероятностью 1/4. Этим определяются значения F (х) еще в двух интервалах:
F (х) = 1/4 при 1/9 < х < 2/9,
F (х) = 3/4 при 7/9 < х < 8/9.
Далее в каждом из оставшихся интервалов повторяется то же построение и этот процесс продолжается до бесконечности. В результате функция F (х) оказывается определенной на счетном множестве интервалов, являющихся интервалами смежности некоторого нигде не плотного совершенного множества меры нуль. На этом множестве доопределяем функцию F (х) по непрерывности. Величина 5 с таким образом определенной функцией распределения не дискретна, так как ее функция распределения непрерывна, но в то же время § не непрерывна, так как ее функция распределения не является интегралом от своей производной.
Все введенные нами определения переносятся легко на случай условных вероятностей. Так, например, функцию F(x\B') = Р{£ <х|В) мы будем называть условной функцией распределения случайной величины £ при условии В. Очевидно, что Flx\Bl обладает всеми свойствами обычной функции распределения.
§ 20. Многомерные функции распределения
Для дальнейшего нам необходимо не только понятие случайной величины, но и понятие случайного вектора или, как часто говорят, многомерной случайной величины.
Рассмотрим вероятностное пространство (й, iV, р}, на котором определены п случайных величин
£1 = Л (со), £2 = Л (со), . . . , £и = Л(ш)
(функции Л(со) измеримы). Вектор (£t, £2, .. . , £и) называется случайным вектором или п-мерной случайной величиной. Пусть (£j, £2, ■ • •, £„) случайный вектор. Обозначим через { £ ] < Xj, £2 < х2, . . - Лп<хП^ множество тех элементарных событий to, для которых одновременно выполняются все неравенства
/Дш) < Хь Л(<о) < х2,...,/и(ш)<х„.
Поскольку это событие является произведением событий {Л (со) < х^} (1 < к < л), оно принадлежит множеству 3 , т.е.
{£i < х,, £2 < х2,..., £„ < х„) G 5 •
Таким образом, при любом наборе чисел хь х2, . . . , х„ определена вероятностьВ(Х1,х2,...,х„) =P{£t < х1; £2 < хг, . . . , £„ <х„}. Эта функция п аргументов называется п-мерной функцией распределения случайного вектора (£ i, £2, • • •, £п) •
В дальнейшем мы прибегнем к геометрической иллюстрации и станем рассматривать величины £],£2, . . . , £„ как координаты точек «-мерного евклидова пространства. Очевидно, что положение точки (£i, £2> • • • , £и) зависит от случая и что функция F(xs, . . . , х„) при такой интерпретации дает вероятность попадания точки (£j, . . . , £„) в «-мерный параллелепипед £j < х,, £2 < х2, ...,£„< х„ с ребрами, параллельными осям координат.
С помощью функции распределения легко вычислить вероятность того, что точка (£i, £2,. .., £„) окажется внутри параллелепипеда
^ < £,• < bt (i = 1,2,... ,п),
где а,- и Ь, — произвольные постоянные. Нетрудно подсчитать, что
Р{Д! < ^ < Ьх, д2 < ?2 < ьг,. .. , ап < ?„ < Ьп) =
= F(bx, b2,. .. , Ьп) — 5 рг + 2 pv + ... + i=l i<j
+ (-l)nF(ax,a2a„),(1)
где через Рц...к обозначено значение функции F^cx, с2, . . . , сп) при ct = at, сj = а,, . . . , ск = ак и при остальных cs, равных bs. Мы предоставляем доказательство этой формулы читателю. Заметим, в частности, что F(xxхк_х, +°°, xk+i, . . . , хп) дает нам вероятность того, что будет выполнена следующая система неравенств :
Si < *1, £2 < Х2, . • ■ Лк-1 <-хк-1» ik + 1 < хк + 1, ■ • • Лп < хп-
Так как по расширенной аксиоме сложения вероятностей
PtSl^Xi,...,?^- 1 Xk—i, ik + 1 < х к + 1 > • • • Ли < хп ) —
= JS Р{?! < %!, . . . , ^к-1 < хк—1> $<£&<$ + !, ?К+1<
< Хк*х,- Лп < Х„} = F(Xx, . ... ,Хк-1, °°,хк*1, • • • . хп),
то F(xX) . . . , хк_х, °°, xk + j, . . - , х„) является функцией распределения (п - 1)-мерной случайной величины (?j, . . . , Sk-i, ik4i> • • ■ = in) - Продолжив этот процесс далее, мы можем определить ^-мерные функции распределения любой группы из к величин £,, ?,2 , . . . , ^t по формуле
Fk^i,. Xi,,---, xik) = P<ii, < x,-^ .. . , ^ik < x,k) =
= F(cx, c2,..., c„),
где cs = xs, если s = ir (1 Cr ^k) и cs = + 00 в иных случаях. В частности, функция распределения случайной величины ?к равна
Fk<x) = F(cx,c2,...,c„),
где все ct (i Ф к) равны + 00, а ск = х.
Подобно тому как поведение одномерной случайной величины можно характеризовать не только посредством функции распределения, но и другими способами, многомерные случайные величины могут быть определены, скажем, посредством неотрицательной вполне аддитивной функции множества Ф{£’}, определенной для любых борелевских множеств «-мерного пространства. Эту функцию мы определим как вероятность попадания точки (?t, . . . , ?„) на множество Е. Этот способ вероятностной характеристики «-мерной случайной величины следует признать наиболее естественным и с точки зрения теоретической наиболее удачным.
Рассмотрим примеры.
Пример 1. Случайный вектор (£,,..., £„) называется равномерно распределенным в параллелепипеде а, <^4 < bt (1 <z <и), если вероятность попадания точки ^г, £2, • • • , £я) в любую внутреннюю область указанного параллелепипеда пропорциональна ее объему и вероятность попадания внутрь параллелепипеда является достоверным событием.
Функция распределения искомой величины имеет вид
если Xj < а, хотя бы при одном i,
Р(хг,...,хп) =Р(хг,...,хп) =i = i bt- U{i = i bt- U{где с, = Xi, если а,- < х,- </>,-, иС{ = Ь{, если Xi > b{.
Р(хг,...,хп) =
Р(хг,...,хп) =
i = i bt- U{
i = i bt- U{
Пример 2. Двумерная случайная величина (^, 5т) распределена нормально, если для нее функция распределения равна
F(xi,x2)=C J J е Q^x'y^dxdy,
где Q (х, у) — положительно определенная квадратичная форма.
Известно, что положительно определенная квадратичная форма от х и у может быть записана в виде
где А и В — положительные числа, а г, а и b — вещественные числа, причем г подчиняется условию — 1 < т < +1.
Легко видеть, что при г2 ^ 1 каждая из случайных величин ^ и ^2 подчинена одномерному нормальному закону. Действительно,
е б^-х'Удх ау =
Так как
1 Г у — ь
Б.В. Гнеденко
то
Fj^i) = ВС-^ 2тг / е
<х-аУ
1Аг
(1 -г2)
dx.
(2)
Постоянное С может быть выражено через Л, Виг. Эту зависимость можно найти из условия ^(t”) = 1. Имеем:
-'-2> АВС<2^
1 = ВС\рй$е 2Лdx =—■—- Je 2 dz =
2АВСп
ОтсюдаОтсюда2-пАВ2-пАВ
Отсюда
Отсюда
2-пАВ
2-пАВ
Если г2 ^ 1, то мы положимЕсли г2 ^ 1, то мы положим
Если г2 ^ 1, то мы положим
Если г2 ^ 1, то мы положим
А = O1V1 -г2, В = о2\/1 -г2-
В этих новых обозначениях двумерный нормальный закон принимает такой вид:
1
F(xvx2) =—— X
2тга1о2х/1 -г2
х,хз1Г (х -а)2_ 2г(*-«)(?-»)+ (У - bY1
X /fе 2(1—г2)[ а2' а, а,о\\ dy
Теоретико-вероятностный смысл входящих в эту формулу параметров будет выяснен в следующей главе.
Подобно тому как это было сделано в одномерном случае, для многомерных функций распределения можно установить ряд свойств. Мы приведем их формулировки, предоставив читателю их доказательства. Функция распределения
есть неубывающая функция по каждому аргументу,
непрерывна слева по каждому аргументу,
удовлетворяет соотношениям
F(+ 00 , + °°,. . . , + °°) = 1,
lim F(xX1 х2,.. ., х„) = 0(1 < к < и)
при произвольных значениях остальных аргументов.
В одномерном случае мы видели, что перечисленные свойства необходимы и достаточны, чтобы функция F (х) была функцией распределения некоторой случайной величины. В многомерном случае, оказывается, этих свойств уже недостаточно. Для того чтобы функция F^xx, • • ■ , х„) была функцией распределения, помимо перечисленных трех свойств, нужно добавить еще следующее:
при любых а,- и bt (z = 1, 2,. . . , и) выражение (1) не отрицательно.
Что это требование может быть не выполнено, несмотря на наличие у функции F(Xj, . . . , х„) свойств 1-3, показывает следующий пример. Пусть
, если х < 0, или х + у < 1, или у < 0,
F(x,y) =
в остальной части плоскости.
Эта функция удовлетворяет требованиям 1 — 3, но для нее
F(l, 1)-F(1, 1/2) — F(l/2, l)+F(l/2, 1/2) = -1,(3)
и, следовательно, четвертое требование не выполнено.
Функция F (х, у) не может быть функцией распределения, так как разность (3) согласно соотношению (1) равна вероятности попадания точки (li,$2) в прямоугольник 1/2 < ^ < 1, 1/2 < Ь < 1-
Если существует такая функция p(xi,x2,. .. ,х„), что при любых Xi, х2,. .. , хп имеет место равенство
F(xi, х2,... , х„) = / J ... f p<zx,z2,. . ., zn)dzn. . . dz2 dzx, oo oooo
то эта функция называется плотностью распределения вероятностей случайного вектора (Ь - 5г • • • • , £и ) • Легко видеть, что плотность распределения обладает следующими свойствами:
Г) Ркхх, х2х„)>0.
Вероятность попадания точки ( ^, g2, . . . , ^ в какую-нибудь область G равна
/. ■ ■ Jp(xx,. . . , x„)dx„ . . . dxx.
G
В частности, если функция (Xj,x2,. . . ,х„) непрерывна в точке ^^....х^), то вероятность попадания точки (^. £2,....£„) в параллелепипед хк^£к <хк+dxk (к = Y, 2,. .. ,п^ с точностью до бесконечно малых выс-
ших порядков равна
p(xi, х2,..., x^dxvdxi .. . dxn.
Примерз. В качестве примера n-мерной случайной величины,имеющей плотность, приведем величину, равномерно распределенную в и-мерной области G. Если через К обозначим л-мерный объем области G, то плотность распределения будет равна
р(хьх2,. .. ,х„) =р(хьх2,. .. ,х„) =О, если (х1( х2,... , x„)e G,
р(хьх2,. .. ,х„) =
р(хьх2,. .. ,х„) =
IjV, если (х2, х2,... , х„) G G.
Пример 4. Плотность двумерного нормального закона дается формулой
1_1Ги-а? - 2г и-аМу-ЪЧ + (у-Ь)1 1
р(х, =”е 2(1"',"2)[ чТ°i °г °2 J
27Talff2 V1 - г2
Заметим, что плотность нормального распределения сохраняет постоянное значение на эллипсах
(х-a)2 (х - д)(у - 6) О - Z,)22
—-— _ 2г— + — = X ,(4)
ofО1 о2Ог
где X — постоянное; на этом основании эллипсы (4) носят название эллипсов равных вероятностей.
Найдем вероятность попадания точки (Ь,5г) внутрь эллипса (4). По определению плотности
PW=JJ p^x.yWdy,(5)
G(X) где через G(X) обозначена область, ограниченная эллипсом (4). Для вычисления этого интеграла введем полярные координаты
х - а = р cos О, у - b = р sin 6.
Интеграл (5) при этом принимает вид
2яХ/$_ pL $2
Гл5е 2 pdpdQ, 27TOia2Vl - о о
_1 |cos20s2 = —— - 2r1 — r2 L_1 |cos20s2 = —— - 2r1 — r2 Lгде для краткости обозначено cos 6 sin 0 sin2 6 d 2 О" i Oi02
_1 |cos20
s2 = —— - 2r
1 — r2 L
_1 |cos20
s2 = —— - 2r
1 — r2 L
Интегрирование по р дает:
2я d6о $2я d6о $1-е 2(1—г2)
2я d6
о $
2я d6
о $
ТГ^
2 7ГО1 а2 V1 — >
Интегрирование по 9 можно выполнить по правилам интегрирования тригонометрических функций, но в этом нет необходимости, так как оно автоматически производится с помощью вероятностных соображений. Действительно,
12я d6
Д(+о°)=1=-г— J
27ГД1 02- г 0 $
Отсюда
"de,—-
J —г = 2^0,02 VI - г
о $
и, стало быть,
Р(Х) = 1 -е"2(Т^")
Нормальное распределение играет исключительно большую роль в различных прикладных вопросах. Распределение многих практически важных случайных величин оказывается подчиненным нормальному закону распределения. Так, например, огромная практика артиллерийских стрельб, произведенная в различных условиях, показала, что рассеивание снарядов на плоскости при стрельбе из одного орудия на определенном прицеле подчиняется нормальному закону. В главе 8 мы увидим, что эта ’’универсальность” нормального закона объясняется тем, что всякая случайная величина, являющаяся суммой очень большого числа независимых случайных величин, каждая из которых оказывает лишь незначительное влияние на сумму, распределена почти по нормальному закону.
Важнейшее понятие теории вероятностей — независимость событий — сохраняет свое значение и для случайных величин. В соответствии с определением независимости событий мы скажем, что случайные величины ?1,Ь, • • ■ Лп независимы, если для любой группы £(. ,^ , ■ ■ ■ Aik этих величин имеет место равенство
Р<€,, <хц, Ьг <х1г,...Л1к<х^ =
при произвольных xix, Хц,. .. , xik и любом ^(1 < к < п). В частности, для
произвольных х ь х2,.. . ,хп выполняется равенство
Р{Ь <х2,Ь <х2,<х„} =
= P{^<xJ Р{Ь<х2} ...Р{|„<хй}
или в терминах функций распределения
F^.X!,.. . ,x„)=F1(Xi)F2(x2) . . . F„(xn),
где Fk<xk) означает функцию распределения величины ^.
Легко видеть, что верно и обратное предложение: если функция распре деления F(Xi, х2,... ,хп) системы случайных величин Ь, Ь> • • • > £« имеет вид
^(хьХ2x„) = F1(x1)F2(x2).. . Fn(xn),
где функции Fk(xk) удовлетворяют соотношениям
^(+=о)=1 (t= 1,2,... ,«),
то величины 51,62, • • •, 6« независимы и функции Ft (Xi), F2 (х2), . . . . . . ,Fn (х„) являются их функциями распределения.
Проверку этого предложения мы предоставляем читателю.
Пример 5. Рассмотрим «-мерную случайную величину, компоненты которой £i, ?2 ,...,£„ являются взаимно независимыми случайными величинами, распределенными по нормальным законам
1 хк _ <г~а^
Fk^kVJ е °к dz.
Ок ^^^ТГ оо
В рассматриваемом примере функция распределения равна
_ 2L п хк - ^"“к^
F(xb х2,.. . , х„) = (2тг) 2 П ак f е 2ок dz.
к - 1оо
Если независимые случайные величины ^, ?2,. .. , ^п имеют плотности распределения pi (х), р2 (х),... ,р„(хи), то «-мерная величина (£i, £2, . . . ...,£„) имеет плотность распределения, равную
р(хь х2,... , хи) = р1(х1)р2(х2).. .рп<хп).
П р и м е р 6. Если величины $i, £2, • • • , £п независимы и имеют плотности распределения
то и-мерная плотность распределения величины (Ь , h > • ■ ■ Лп) равна
_ и 1” (хи -Ofc)2
р(х1,х2,.. . ,хп) =е к=1 °к(6)
<Jia2 • • • ои
При и = 2 эта формула принимает вид
_ (х, — а, )2 _ (х2 -а2 )2
р(Х1,Х2)=~ е 2а?2а?.
2ttoi 01
Сравнение этой функции с плотностью двумерного нормального закона (пример 4) показывает, что для независимых случайных величин ^ и^2 параметр г равен 0.
При п = 3 формула (6) может быть истолкована как плотность распределения вероятностей компонент ^ , ^2,1з скорости молекулы по осям координат (распределение Максвелла), если только предположить, что
01 = о! = аз = —.
пт
где т — масса молекулы, ah— константа.
§21. Функции от случайных величин
Сведения, полученные нами о функциях распределения, позволяют нам приступить к решению следующей задачи: по функции распределения F(xi ,Х2,.... х„) совокупности случайных величин 6i,?2> -'>Sn 0ПРе" делить функцию распределения Ф(УьУ2> • • • , У к) величин рх = /i ($i, ^2, ■ • • • • • ,?и),Р2 = А(^1 , • • • Лп)> ■ • ■ ’Рк = fkdl> ■ • ■ > £и)-
Общее решение этой задачи весьма просто, но требует расширения понятия интеграла. Чтобы не отвлекаться в сторону чисто аналитических вопросов, мы ограничимся рассмотрением важнейших частных случаев: дискретных и непрерывных случайных величин. В следующем параграфе будут изложены определение и основные свойства интеграла Стилтьеса; там мы дадим общую запись важнейших результатов настоящего параграфа.
Рассмотрим сначала случай, когда n-мерный вектор (£1,.. ., £„) имеет плотность распределения вероятностей р(хь х2,.. . ,хп). Из предыдущего видно, что искомая функция распределения определяется равенством
Ф(^ъ У1, • • • ,Ук) = J ... Ур(хь х2,.. . x„)dxtdx2 . ..dxn,
D
причем область интегрирования D определяется неравенствами
ЛС^т.^гх„)<у,- (z = 1,2,. . . ,к).
В случае дискретных случайных величин решение, очевидно, дается с помощью и-мерной суммы, также распространенной на область/).
Мы применим теперь только что сделанное нами общее замечание относительно решения поставленной нами общей задачи к нескольким важным частным случаям.
Функция распределения суммы. Пусть требуется найти функцию распределения суммы
7? =51 + 5г + • ■ ■ + 5л>
если р (Xi, х2,..., х„) — плотность распределения вероятностей вектора (51, 5г, ■ • ■, 5л) • Искомая функция равна вероятности попадания точки (51,5г, • •, 5л) в полупространство 51 + 5г + ■ • • + 5л < х и, следовательно,
Ф(х) = J.. . J р<хх,х2,.. . ,xn)dxx dx2 ... dxn.
^хк<х
Рассмотрим подробнее случай и = 2. Предыдущая формула принимает в этом случае такой вид:
Ф(х)= JJ p(xx,x2)dxxdx2 = J J p(x1>x2)dx1dx2.(1)
Xj + х2 < х—оо
Если величины 51 и 5 г независимы, то p(Xj,x2) = рх (Xi) р2 (х2) и равенство (1) может быть записано в таком виде:
Х-Х,X
Ф(x) = Jdx1 J px(xx)p2(x2)dx2 = Jdxx J px(xx)p2(z-xx)dz =
= f dz{Jpx(xx)p2(z-xx)dxx) .(2)
В общем случае формула (1) дает:
Ф(х) = J dxx jp(z, хх - z)dz.(3)
Последние равенства доказывают, что если многомерное распределение слагаемых имеет плотность распределения вероятностей, то их сумма также имеет плотность распределения. Эта плотность в случае независимых слагаемых может быть записана в виде
(4)(4)P(x) = Jpx(x- z)p2(z)dz.
(4)
(4)
Рассмотрим примеры.
Пример 1. Пусть 51 и 5г независимы и равномерно распределены в интервале (а, 6). Найти плотность распределения суммы т? = 51 + 5г •
Плотности распределения вероятностей ^ и ?2 равны (О, если х^а или х>Ь, Piw=p^x^= I -, если а<х<Ь.
I b - а
По формуле (4) находим, что ъ1 ь
рЛх) = Jp,(z)рг(х - z)dz = $рг(х- z)dz. ab-aa
Из того, что при х < 2д x-z<2a-z<a,
а при х> 2Ь
х - z> 2b - z> Ь,
заключаем, что при х < 2а и х > 2Ь
р^х)=0.
Пусть теперь 2а <х <2Ь. Подинтегральная функция отлична от нуля только при тех значениях z, которые удовлетворяют неравенствам
а<х—z<b
или, что то же самое, неравенствам
х — b < z < х — а.
Так как х > 2а, то х - а > а. Очевидно, что х - а < b при х < а + Ь. Следовательно, если 2а < х < а + Ь, то
х-а dz х-2а ' а <ь- at (b - а)2
ь dzь dz2Ь - х2Ь - хТочно так же при а + b < х < 2Ь
ь dz
ь dz
2Ь - х
2Ь - х
р^= ^—5 =Тк—^•
х_ь (b -ay <b-at
Рг;^) =Рг;^) =(5)(5)случайных величин 6 ь $2, • • • , 6п» найтислучайных величин 6 ь $2, • • • , 6п» найтиРис. 16Рис. 16
Рг;^) =
Рг;^) =
(5)
(5)
случайных величин 6 ь $2, • • • , 6п» найти
случайных величин 6 ь $2, • • • , 6п» найти
Рис. 16
Рис. 16
Собрав вместе полученные результаты, находим, что
О при х < 2а и х> 2Ь, х - 2а
г при 2а<х<а + 6,
2Ь - х
— при а + b < х < 2Ь.
(b - а)1
Функция p^Qx) носит название закона распределения Симпсона.
Вычисления в рассмотренном примере значительно упрощаются, если воспользоваться геометрическими соображениями. Изобразим, как обычно, h и £2 как прямоугольные координаты на плоскости. Тогда вероятность неравенства Ji +£2 < х при 2а<х Ca-v b равна вероятности попадания в дважды заштрихованный прямоугольный треугольник (рис. 16). Эта вероятность, как легко подсчитать, равна (х - la'f
При а + b < х < 2Ь вероятность неравенства £1 + £2 < х равна вероятности попадания во всю заштрихованную фигуру. Эта вероятность равна (26 - х)2
FJx)= 1- - .
л 2(6 -а)1
Дифференцирование по х приводит нас к формуле (5).
В связи с рассмотренным примером интересно заметить следующее.
Общие вопросы геометрии привели Н.И. Лобачевского к необходимости решения следующей задачи: имеется группа из п взаимно независимых
распределение вероятностей их среднего арифметического.
Эта задача была им решена только для случая, когда все ошибки равномерно распределены в интервале (—1, 1). При этом оказалось, что вероятность ошибке среднего арифметического заключаться в пределах от —х дох равна
рп^- ^П-1 х
[п - пх - 2rV
X S(-l)r ;—,
(r!)2(n - г)!
где суммирование распространяется на все целые г от г = 0 до
Пример 2. Двумерная случайная величина <51.^2) распределена по нормальному закону
1
р(у. ^= о/Г^ х 2лох о2 у! — г
I 1 ((х-аУ ^х-аХУ"^ О - ь? \ )
[ 2(1 - г2) \ о201 о2о2 / J
Найти функцию распределения суммы т? = £1 + £2.
Согласно формуле (3)
1, f 1№ - а?
рХхЛ =т^-^- Гехр <— ( —х— -
2лО1 о2 V1 -г2 I 2(1-г2) \ о2
(z - а)(х - z - Ь) (х — z — Z>)2 \ 1
-2г+-) dz.
(710202 М
и z - а через и; тогдаи z - а через и; тогдаОбозначим для краткостях -а - b через и
и z - а через и; тогда
и z - а через и; тогда
1
Р^ = оТГ^ х
2ТГ01 02 у1 — т
X /ехрX /ехрI 2(1-г2)I 2(1-г2)и2м(и - и)-т-2г0101 02и2м(и - и)-т-2г0101 02(V- М)2\1 ,+21 \du.02/ )(V- М)2\1 ,+21 \du.02/ )
X /ехр
X /ехр
I 2(1-г2)
I 2(1-г2)
и2м(и - и)
-т-2г
0101 02
и2м(и - и)
-т-2г
0101 02
(V- М)2\1 ,+21 \du.
02/ )
(V- М)2\1 ,+21 \du.
02/ )
Так как
м2Охм2Охи(у - и) (и м)201 + 2гО1 02 + о2 01 + го2 и2
м2
Ох
м2
Ох
2г+— =и2-ч2ии — + — =
х/ох*2гохог +о22 м01 о2х/ох*2гохог +о22 м01 о201 02^2(71ОзО) О2 02
х/ох*2гохог +о22 м
01 о2
х/ох*2гохог +о22 м
01 о2
и 01 + го2 I
-— —_ - --- I + о2 Vffi + 2roi о2 + о2 J
(oi + го2)2\ х/а\ + 2гох о2 + о2
)= и о1 + 2 го] о2 + о2/О] о2
иОх +го2 2и2(1 - г2)
о2 Voi+ 2roi о2 + о2 o^+2roio2+o2
то,введя обозначение
11VoT + 2rot О2 + <7?и01(72VoT + 2rot О2 + <7?и01(72V О] +го2V О] +го2О2 V°1 + 2гО! о2 + <72О2 V°1 + 2гО! о2 + <72
1
1
VoT + 2rot О2 + <7?и01(72
VoT + 2rot О2 + <7?и01(72
V О] +го2
V О] +го2
О2 V°1 + 2гО! о2 + <72
О2 V°1 + 2гО! о2 + <72
мы приведем выражение для р^(х) к виду (V2 1
. . ХР1 2(о? + 2гО! о2 + ai)f Рп<^= —л-—^т:7=^-2г--- $е ^ dt.
2тг х'О^ + 2ГО1О2 + <72
Так как,2
и = х - а - b и j е 2 dt = \Дл,
(x a-i)22 (а2 + 2 га, а2 + а2) .(x a-i)22 (а2 + 2 га, а2 + а2) .ТО
(x a-i)2
2 (а2 + 2 га, а2 + а2) .
(x a-i)2
2 (а2 + 2 га, а2 + а2) .
^ ^ х/2тг(ах + 2roio2 + о2)
В частности, если случайные величины ^ и §2 независимы, то г = 0 и формула дня р^х^ принимает вид
J(х-а-ЬУ
Р^^-у22?е^"h .
у2тг(01 + о?)
Нами получен, таким образом, следующий результат: сумма нормально распределенных случайных величин распределена по нормальному закону.
Интересно заметить, что когда слагаемые независимы, имеет место и обратное предложение (теорема Г. Крамера): если сумма двух независимых случайных величин распределена по нормальному закону, то каждое слагаемое также распределено по нормальному закону. Мы не останавливаемся на доказательстве этого предложения, так как оно требует более сложного математического аппарата.
ПримерЗ. Распределение х2 ■ ПустьЬ.Ь - • • ■Л ~ независимые случайные величины, распределенные по одному и тому же нормальному закону с параметрами а и а.
Функция распределения величины
1”
X2 =2 (^ _ а)2
О k = 1
носит название х^Роспределения.
Это распределение играет важную роль в различных вопросах статистики.
Мы вычислим сейчас функцию распределения величины f = x/V^ Она окажется независимой от а и о.
Очевидно, что для отрицательных значений аргумента функция распределения Ф(_у) величины f равна 0; для положительных значений у функция Ф(у) равна вероятности попадания точки (gi,. .. , £„) внутрь шара
Е ^хк -а)2 = у2 • и ■ а2.
к = 1
Таким образом,
&(y)=J-fе /=12 dxtdx2 .. . dxn.
£ х^ <угп Хх/ЗтГ/
Перейдем для вычисления этого интеграла к сферическим координам, т.е. сделаем замену
Хх = р cos 6 г cost?2 ■ • ■ c°s ^n - i >
x2 = p cos 61 cos 92 .. . sin 0„ _ !,
xn = p sin 01.
В результате этой замены
IIя/2"/2
I
I
Ф(^)= / ... J — л/2— я/2
У^п -рг/2
Xdpd6n_x ...dOx = Сп J е рп'х dp, о
где постоянная
i я/2л/2
сп = ——- J ...J D(9x ...On-x)d9„_x ...d9x
-1Х)2-я/2
зависит только от п.
Эту постоянную легко вычислить, пользуясь равенством
Ф(+=°)=1=СП/ е р"-^р = фà -J-2"/2-1. ох W
XVч, -р2/2ОXVч, -р2/2Оdp.dp.Отсюда находим, что
XVч, -р2/2
О
XVч, -р2/2
О
dp.
dp.
ф(^ " 2^2"^/^
Плотность распределения случайной величины £ при у > 0 равна
(6)(6)х/2Й /УХ/пХ"”1 — пу2/2
(6)
(6)
l(y) =I——-Iе
Г(п(2) k V2 /
Отсюда, в частности, при п = 1 мы получим, естественно, плотность распределения, равную удвоенной плотности исходного нормального закона
^У) = xflpn 11(у>0).
При П" 3 мы получаем известный закон Максвелла
х/тт
Из формулы (6) легко вывести плотность распределения величины х2-
Эта плотность равна 0 прих < 0, а при х > 0
х”/2- 1 е-^/2
Рп^ 2”^2Г(н/2)‘
Распределения величин, тесно связанных с х2 и часто используемых на практике, сведем в следующую таблицу:
1111ппX'X'попоИ^ (^- а)к = 1И^ (^- а)к = 1xnl2-l-nxl2xnl2-l-nxl2/1 "X = V-T г ^к-ауо2 к = 1/1 "X = V-T г ^к-ауо2 к = 1Г(и/2)2 2п/2Г(п/2)Г(и/2)2 2п/2Г(п/2)ееX г = —X г = —11па2па2И- ик-а>к = 1И- ик-а>к = 1ГьГьп—1п—1— их1 /2— их1 /2
1
1
1
1
п
п
X'
X'
по
по
И
^ (^- а)
к = 1
И
^ (^- а)
к = 1
xnl2-l-nxl2
xnl2-l-nxl2
/1 "
X = V-T г ^к-ауо2 к = 1
/1 "
X = V-T г ^к-ауо2 к = 1
Г(и/2)
2 2п/2Г(п/2)
Г(и/2)
2 2п/2Г(п/2)
е
е
X г = —
X г = —
1
1
па2
па2
И
- ик-а>
к = 1
И
- ик-а>
к = 1
Гь
Гь
п—1
п—1
— их1 /2
— их1 /2
Величина
Плотность распределения при х > 0
Т а б л иц а 13
1
п
X*
к = 1
o'
хп/2-1е-х/2 2п/2г(и/2)
Пример 4. Функция распределения ча стно г о. Пусть плотность распределения вероятностей величины (5,17) равна р^х, у). Требуется найти функцию распределения частного f = % Ip.
Согласно определению
F^x) = Р{£/т? < х}.
Если £ и р изображают координаты точки на плоскости, то F^ (х) равна вероятность того, что точка (£, т?) попадает в область, координаты точек
Рис. 17
которой удовлетворяют неравенству £/ц < х. На рис. 17 эта область заштрихована.
Согласно общей формуле искомая вероятность равна 00 z х0
F^x) = f J р^у, z^dydz + J f p(y,z)dydz,(7)
0—00— “ zx
Отсюда вытекает, что если £ и р независимы, а р, (х) и рг(х) — их плотности распределения,то ООО
F?(x)= / Ft(xz)pz(z)dz + / (1-F1(xz))p2(z)dz,(7')
о— °®
Продифференцировав (7), находим, что о
р?(х) = J zp(zx, z)dz - f zp(zx,z)dz,(8)
о— °°
В частности, если £ и т? независимы, то
ООО
pf(x)= /?р,(гх)р2(2)^- J zp1(zx)p2(z)dz.(8')
о—
Пример 5. Случайная величина (£, т?) распределена по нормальному закону
р(х,у) = —ехр27ГСТ1 а2 V1 -г2р(х,у) = —ехр27ГСТ1 а2 V1 -г21 Гх2 ху у211 I2 г+I ? 2(1 -г2) I. О2 (7] О2 02 J)1 Гх2 ху у211 I2 г+I ? 2(1 -г2) I. О2 (7] О2 02 J)
р(х,у) = —ехр27ГСТ1 а2 V1 -г2
р(х,у) = —ехр27ГСТ1 а2 V1 -г2
1 Гх2 ху у211
I2 г+I ? 2(1 -г2) I. О2 (7] О2 02 J)
1 Гх2 ху у211
I2 г+I ? 2(1 -г2) I. О2 (7] О2 02 J)
Найти функцию распределения частного f = ^1р. По формуле (8)
1 р^х) = •- X
2 л а io-г V1 —г2
о2х2—2 гох а2х + о21 ldz.O1O2Jо2х2—2 гох а2х + о21 ldz.O1O2Jdz =
о2х2—2 гох а2х + о21 ldz.
O1O2J
о2х2—2 гох а2х + о21 ldz.
O1O2J
1$ z exp\ —-———-- иохо2 х/1 -Г2 о i 2(1 г )
Произведем под интегралом замену, положив z2 о2х2 — 2 гаха2х + о2
Выражение для р^ (х) при этом принимает такой вид:
Р1Пт V1 -г2 7e-udu = __ °xOix/ 1 - г2 , и(_о2х2—2 гох о2х + о2) 0л(о2х2— 2 гохо2х + о2) ’
если, в частности, величины ? и р независимы, то
Pf Х л(ст1+а2х2}
Плотность распределения величины f называется законом Коши.
Пример 6. Распределение Стьюдента. Найти функцию распределения частного f = £/р, где £ и т? — независимые величины, причем £ распределено по нормальному закону
Р^х) = V — е 2 , 2 я
а р = х/ Vn (см- пример 3),
Согласно формуле (8 )
”ЛУГVTn (zxfn
Prix^ J zV—e 2 I
02 яГ(П/2)^
i " /zV^V"1
-/e
хЛяГ(п/2) о \<2 /
Сделав замену
nz2 и = (x2 + 1),
2
находим, что
_ » +1 (X2 + 1)2
р^х^ =/ и 2 е udu =
xTHV^nl^ о
Плотность распределения вероятностей
/и + 1\ г ,
\2 /— 2U-L
р$-(х) -(1+х2)2
\n-lnz2
е 2 dz =
nzdz.
In + 1 \
г
(х2 + 1)2 .
V^W2)
хШ гонг)
носит название закона Стьюдента (Стьюдент — псевдоним английского статистика Госсета, впервые нашедшего этот закон эмпирическим путем).
При п = 1 закон Стьюдента превращается в закон Коши.
Пример 7. Поворот осей координат. По функции распределения двумерной случайной величины (£, 77) найти функцию распределения величин
(9)(9)£' = £ cos а + т? sin а,
(9)
(9)
т/ = — £ sin а +17 cos а.
Обозначим через /-Дх, у) и Ф(х, у) функции распределения величин (?, т?) и (£',7?'). Если мы станем изображать (£, т?) и (5', т?') как прямоугольные координаты точки на плоскости, то легко видеть, что система осей VO4* получается из системы ^От; путем поворота последней на угол а. Мы ограничимся случаем 0 < а < тг/2, предоставив читателю вывод аналогичных формул для остальных значений а.
Обозначим через р(х, ^) плотность распределения вектора (£, т?) и через л (х, у) - вектора (£ , т?'). Из (9) находим, что
?' = 5 cos а — 17 sin а,
т?' = £ sin а + т? cos а
(Ю)(Ю)и, следовательно,
(Ю)
(Ю)
л(х, у) = р(х cos а — у sin а, х sin а +у cos а).
Это равенство дает возможность получить формулу, связывающую функции распределения векторов (5, т?) и (V, т?'). При разыскании формулы следует учитывать геометрическую картину.
Пример 8. Двумерная случайная величина (£, р) распределена по нормальному закону
р(х, у) =р(х, у) =2(1 —Г2 ) L <7)2(1 —Г2 ) L <7)ху^1 Огху^1 Ог
р(х, у) =
р(х, у) =
2(1 —Г2 ) L <7)
2(1 —Г2 ) L <7)
ху
^1 Ог
ху
^1 Ог
Найти плотность распределения случайных величин £' = £ cos а + 77 sin а, т? = —£ sin а + 77 cos а.
Согласно равенству (10)
л(х', у'") = p(x'cos а - у'sin а, x'sin а +y'cos а) =
=-^exp I -[ Ах'2- 2 Вх'у' + Су'2]
2 ла, а2 V 1-r2-(1 г )
где обозначено cos2 а cos а sin аsin2 а
А = 2г+ ——,
а)171 172<72
cos а sin а sin2 а — cos2 а cos а sin а
"Г2’
0*1 0*2О" 2
cos а sin аcos2 а
+ —
П| О2О2
Из полученной формулы мы заключаем, что поворот осей переводит нормальное распределение в нормальное.
Заметим, что если угол а выбран так, что
2го, оз tg 2 а = —-
то В = 0 и
1__ Ву'2
Щх',у') =• е 2(i-r )2(i -^
2 ла, а2 v I -г2
Это равенство означает, что любая нормально распределенная двумерная случайная величина путем поворота осей координат может быть приведена к системе двух нормально распределенных н езависимых случайных величин. Этот результат может быть перенесен на n-мерные случайные величины.
Можно доказать более сильное предложение, исчерпывающе характеризующее нормальное распределение вероятностей. Пусть на плоскости имеется невырожденное (т.е. не сосредоточенное на одной прямой) распределение вероятностей. Для того чтобы это распределение было нормальным, необходимо и достаточно, чтобы двумя различными способами
можно было на плоскости выбрать оси координат ?1О^2 и т?10т?2 такие, что координаты ?i и ?2, так же как ти и т?2, рассматриваемые как случайные величины с заданным распределением вероятностей, были бы независимы.
§ 22. Интеграл Стилтьеса
Дальнейшее изложение существенно использует понятие интеграла Стилтьеса. Для облегчения изучения последующих параграфов мы приводим здесь определение и основные свойства интеграла Стилтьеса, не останавливаясь при этом на доказательствах.
Предположим, что в интервале (я, 6) определены функция /(х) и неубывающая функция F(x) с ограниченной вариацией. При этом мы для определенности будем предполагать, что функция F (х) непрерывна слева. Если я и 6 конечны, то разделим интервал (я, 6) точками а = х0 < хх < < х2 < ... < хп = b на конечное число частичных интервалов (xf, x,+ i) и образуем сумму
И
i = 1
где х, — произвольное число, выбранное в сегменте (х,-,, х( ). Станем теперь увеличивать число точек подразделения, одновременно приближая длину максимального из частичных интервалов к нулю. Если при этом написанная выше сумма стремится к определенному пределу п
J = Um X (/(x,)[F(x,)-F(x,_!)],(1)
п ^ * Z - 1
то этот предел называется интегралом Стилтьеса от функции /(х) с интегрирующей функцией F(x) и обозначается символом
6
J = И<Х№.(2)
Несобственный интеграл Стилтьеса, когда промежуток интегрирования бесконечен, определяется обычным путем: рассматривается интеграл по произвольному конечному интервалу (я, 6); величины а и b произвольным образом заставляют стремиться к —°о и +оо; если при этом существует предел
ь lim / /(x)dF(x), * ~ 00 а
то этот предел называется интегралом Стилтьеса от функции /(х) по функции F(x) в промежутке (— о°,°°) и обозначается
Jf<x)dF<x\
Можно доказать, что если функция /(х) непрерывна и ограничена, то предел суммы (1) существует, как в случае конечных, так и в случае бесконечных пределов интегрирования.
В некоторых случаях интеграл Стилтьеса существует и для неограниченных функций /(х). Для теории вероятностей рассмотрение таких интегралов представляет значительный интерес (математическое ожидание, дисперсия, моменты и пр.).
Заметим, что всюду в дальнейшем мы считаем, что интеграл от непрерывной функции f^x) существует тогда и только тогда, когда существует интеграл от | /(х) | с той же интегрирующей функцией F (х).
Для целей теории вероятностей важно распространить определение интеграла Стилтьеса на тот случай, когда функция /(х) может иметь конечное или счетное множество точек разрыва. Можно доказать (см.В.И.Гли- венко, Интеграл Стилтьеса, стр. 116), что всякая ограниченная функция, имеющая конечное или счетное множество точек разрыва, в частности, всякая функция ограниченной вариации, интегрируема при любой интегрирующей функции ограниченной вариации. При этом требуется несколько видоизменить само определение интеграла Стилтьеса, именно, при образовании предела (1) надо рассматривать только такие последовательности подразделений интервала интегрирования на части, что каждая точка разрыва /(х) входит в число точек деления всех подразделений, за исключением, быть может, конечного Числа их.
Заметим, что при установлении пределов интегрирования важно указывать, включается в промежуток интегрирования или нет тот или иной его конец. Действительно, из определения интеграла Стилтьеса мы получаем следующее равенство (символ а — 0 означает, что а включено в промежуток интегрирования, а символ а + 0 — что а исключено из него) :
Ъп
/ f(x)dF(x) = Um 5 /(хД^ха-^х,.!)] =
а - Ом -> = / - 1
= Hm Z /(Х/М^ха-^х,•_!)]+Um /(xj^xj-
1=2х, - х„ = а
b
-^(Хо)^ / f(x)dF{x) + /(a)[F(a + 0)-F(a)]. а + О
Таким образом, если/(а) + 0 и функция F (х) имеет скачок при х = а, то
6ь
J f(xW^- f /(x)dF(x) =/(a)[F(a + 0) — F(a - 0)].
a — 0a + 0
Это обстоятельство указывает на то, что интеграл Стилтьеса, распространенный на промежуток, сводящийся к одной точке, может давать отличный от нуля результат. Мы условимся в дальнейшем, если не будет сделано особой оговорки, правый конец промежутка исключать, а левый включать в интервал интегрирования. Это условие позволяет написать следующее равенство:
6
/ dF^x^ = F(b) - F^aY а
В самом деле, по определению, 6п
f dF(x) = lim 5 [F(x,) - F(x,_ J] =
an- - / = i
= lim [F(x„)-F(x0)] = F(b) - F(a) n -* 00
(напомним, что F(xY по определению, непрерывна слева и для нее, следовательно, F(b} = lim F^b - е)).
J о
В частности, если F(x) есть функция распределения случайной величины I, то
/ dF(x) = F(b) - F(a) = Р{д < £ < Ы, а
Ъ
J dF^x^ = F(b) = Р{$ < bL
Если F(x) имеет производную и является интегралом от нее, то из того, что по формуле конечных приращений
F(x,) - F(x,_,) = р (x,)(xz - х,_ 1),
где Х; -; < xf < х,-, следует равенство
//(x)dF(x) = lim 5 /Xx/M^)-^.-!)] =
ал г = 1
пЬ
= Um S /(х^рСх/Хх.-х^) = JV(x)p(x)dx.
л - ” i = 1a
Мы видим, что в этом случае интеграл Стилтьеса сводится к обыкновенному интегралу.
Если F (х) имеет скачок в точке х = с, то, выбрав подразделения так, что при некоторых значениях индекса хк < с < хк+1, имеем:
6к
ff(x)dF(x} = lim S /(x,)[F(x,) - F^,^)] +
a- i = i
+/(c)[F(xt+1)-F(xt)] + lim 5Л^Я^,)-^/--!)^
n -* ” i = к + 2
cb
= J f(x)dF(x) + J f(x)dF(x) + f(c)[F(c + 0) — F(c-0)]. ac + 0
В частности, если изменение функции F (х) происходит только в точках С), С 2Сп, ..., то
Ь~
/ /(x)dF(x) = S f(cnHF(cn + 0VF(c„ - 0)]
и интеграл Стилтьеса сводится к ряду.
Перечислим основные свойства интеграла Стилтьеса, которые нам потребуются в дальнейшем. Доказательства этих свойств легко могут быть проведены читателем, исходя из определения интеграла Стилтьеса и пользуясь рассуждениями, используемыми в теории обычного интеграла.
При а < с t < с"2 < ... < сп < Ь
ЬП С;+1
J/(x)dF(x)= S / f(x)dF(x) [а = с0, 6 = с„+1].
Постоянный множитель выносится за знак интеграла
6ь
/ c/(x)dF(x) = с $ f(x^dF(x\
аа
Интеграл от суммы функций равен сумме их интегралов
b пп b
f s №)dF(x)= s Mt^dF^y
а * ~ I• "~ 1 а
Если /(х) > 0 и b > а, то
6
MWF^ > 0.
а
Если Fx (х) и F2 (х) — монотонные функции с ограниченным изменением, а <?! и с2 — произвольные постоянные, то
6ьь
/ /(x)d[cxFx(x) + c2F2(xy\ = сх J f(x)dF,(x) + с2 J /(x)dF2(x).
aaa
Если F (x) = J g(u)dG (и), где с — постоянное, g(u) — непрерывная
c
функция и G (u) — неубывающая функция с ограниченным изменением, то
66
J/(x)dF(x) = J f(x)g(x)dG(x\
аа
Использовав понятие интеграла Стилтьеса, мы можем написать общие формулы для функции распределения суммы
F(x) = fF^x - z^dF^z^ = J F2(x - z)dFx(z)
двух независимых слагаемых, а также частного —
F(x) = J Ft(xz)dF2(z) + J [1 -F1(xz)]dF2(z)
0 OO
независимых случайных величин ^ и ?2 в предположении, что Р{?2=0}=0.
Упражнения
Доказать, что если F (х) - функция распределения, то при любом h ^ 0 функции
х + hх + h
Ф(х) = — / F(.x1dx, Ф(х) = -J- / F(.x)dx
хx-h.
также являются функциями распределения.
Случайная величина $ имеет F Vx') своей функцией распределения (р(х) - плотность распределения). Найти функцию распределения (плотность распределения) случайной величины:
д = а( + Ь, а и b - вещественные числа;
д = Г1 (Р{$ = 0} = 0 ;
л = tg ?;
д = cos £;
Л = /(О> где fW ~ непрерывная монотонная функция без промежутков постоянства.
Из точки (0, с) проведена прямая под углом р к оси Оу.
Найти функцию распределения абсциссы точки пересечения этой прямой с осью Ох, если
угол у равномерно распределен в промежутке (0, я/2),
угол р равномерно распределен в промежутке (-я/2, я/2).
На окружность радиуса R с центром в начале координат наудачу брошена точка [иными словами, полярный угол точки попадания равномерно распределен в промежутке (-я, я)]. Найти плотность распределения
абсциссы точки попадания,
длины хорды, соединяющей точку попадания с точкой (-R, 0).
На отрезок оси ординат между точками (0, 0) и (0, R) наудачу брошена точка [т.е. ордината этой точки равномерно распределена в промежутке (0, R-) ]. Через точку попадания проведена хорда окружности х2 + у2 = R1, перпендикулярная к оси Оу. Найти распределение длины этой хорды.
Диаметр круга измерен приближенно. Считая, что его величина равномерно распределена в отрезке (д, 6), найти распределение площади круга.
Плотность распределения случайной величины ? дана равенством
а
Р(х) =.
е"х + ех
Найти:
постоянную а;
вероятность того, что в двух независимых наблюдениях ( примет значения, меньшие 1.
Функция распределения случайного вектора ($, д) имеет вид:
^(х, у) = F^x) F^y} + ^(х);
FU.y^F, (x)F2(y) + F,(x) + РДу\
Могут ли функции F3 (х) и F4 (х) быть произвольными? Зависимы или независимы компоненты вектора (£, п) ?
На отрезок (0, а) наудачу брошены две точки [т.е. их абсциссы равномерно распределены в отрезке (0. д)]. Найти функцию распределения расстояния между ними.
На отрезок (0, д) брошено п точек. Считая, что точки разбросаны случайно [т.е. каждая из них расположена независимо от других и распределена равномерно в (0, д)1, найти:
плотность распределения абсциссы £-й слева точки;
совместную плотность распределения абсцисс fc-й и m-й точек слева (к < т’).
Над случайной величиной £ с непрерывной функцией распределения произведено п независимых испытаний, в результате которых были наблюдены следующие значения величины £: х,, хТ, .... х„. Найти функции распределения случайных величин:
ц„ = шах (х,, х2х„);
Гм = min (хх, х2х„);
к-го по величине результата наблюдения;
совместного распределения к-го и m-го по величине результатов наблюдения.
Функция распределения случайного вектора (£,, £3, ..., £„) равна F(xx, х2, ... ..., хм). В результате испытания компоненты вектора получили значения (z,, z 2, ..., z„). Найти функцию распределения случайной величины:
Пп = max(z,, z2z„);
Гн = min (z,, z2z„).
Случайная величина £ имеет непрерывную функцию распределения F(x). Как распределена случайная величина л = F (£) ?
Случайные величины £ и п независимы; их плотности распределения определяются равенствами
р^(х) = р^х) = 0 при х < 0,
Р£(х) = схх%^х, р^Сх') = с^х^е-^ при х > 0.
Найти:
постоянные с, ис,;
плотность распределения суммы £ + д.
Найти функцию распределения суммы независимых случайных величин £ и Л, первая из которых равномерно распределена в сегменте (-h, h). а вторая имеет функцию распределения F (х).
Плотность распределения случайного вектора (£, г;, f) равна
р<х. г. z) =р<х. г. z) =(1 +х +у +Z)4(1 +х +у +Z)4при х > 0, у > 0, z > 0,при х > 0, у > 0, z > 0,
р<х. г. z) =
р<х. г. z) =
(1 +х +у +Z)4
(1 +х +у +Z)4
при х > 0, у > 0, z > 0,
при х > 0, у > 0, z > 0,
в остальных случаях.
Найти распределение величины £ + л + f.
Найти распределение суммы независимых случайных величин £, иЕ2, если их распределения заданы условиями:
F, (х) = F,^ = ^ + i arctgx;
равномерно распределены соответственно в интервалах (-5, 1); (1, 5);
1
р, (X) = р2(х) = — е “
2 а
Плотность распределения независимых случайных величин Е и л равна:
[°
при
X <
0,
а) Р((х) = р^(х) =
\ае"ах
при
X >
0 U > 0);
- 0
при
X <
0, х > а.
б) р^(х) = р^Ст) = j
[ 1/с
при
0 <
х < а.
Найти плотность распределения величины f = Е/л-
Найти функцию распределения произведения независимых сомножителей Е и д по их функциям распределения F х (х) и Fг (х).
Случайные величины Е и л независимы и распределены:
равномерно в интервале (-с, а );
нормально с параметрами а = 0, о = 1.
Найти функцию распределения их произведения.
Стороны Е и л треугольника представляют собой независимые случайные величины. По их функциям распределения F^ (х) и ^(х) найти функцию распределения третьей стороны, если угол между сторонами Е и д равен постоянному числу а.
Доказать, что если величины Е и л независимы и их плотность распределения равна
( 0 при х < 0,
РЕ<х) = Рд(х) =
1е-Л при х > 0,
то величины Е + л и Е / л также независимы.
Доказать, что если величины Е и л независимый нормально распределены с параметрами а, = а, = 0. ох = о, = о, го величины
f = Е2 + л2, А = Е/л
также независимы.
Доказать, что если величины $ и ч независимы и распределены по закону х2 с параметрами т и п, то величины 6 = Е/п и Г = Е + П независимы.
Случайные величины Е,- Е2. ..., ^п независимы и имеют одну и ту же плотность распределения
(х - «У
о V 2 я ит
Найти двумерную плотность распределения величин п = S ^ и Г = X Е^ fc=lfc=l
(т < n ).
Доказать, что любая функция распределения обладает следующими свойствами,
Пт л' / ^-dF^z^ = 0, lim х f ^-dFU-) = О,
lim х J ^- dF(z") = О, Нт х J" ^dFVz^ = 0.
X"' —= — ооX ~* —О —оо
Над случайной величиной Е- имеющей непрерывную функцию распределения F(x), проведены две серии независимых испытаний, в результате которых Е приняла значения, расположенные в порядке возрастания в каждой серии:
X, < х2 < ... < ХМ. У, < У г < - < УМ-
Чему равна вероятность неравенств
Уц < Аш + 1 < Уц+ 1 ,
где т и ц заданные числа (0 < т < М, 0 < м < Д')?
Случайная величина Е имеет непрерывную функцию распределения F(x). В результате п независимых наблюдений над Е получены следующие значения х, < хг < ... < хп, упорядоченные по величине. Найти плотность распределения величины
F<x^ - Fkx^ 9 =.
F(х„) - F(X1 )
Случайные величины Е и п независимы и одинаково распределены с плотностью распределения
С
Р^х) = Рт1(х^ = ; .
1 + X
Найти постоянную С и доказать, что величина Е /п распределена по закону Коши.
11Случайные величины £ и п независимы, их плотности распределения соответственно равны
1
1
Р$(х) = (I х | < 1 );
я V 1 - х2
при х < 0
Рт/Х> =
хехепри х > 0.при х > 0.
хе
хе
при х > 0.
при х > 0.
Доказать, что величина gn нормально распределена.
Пусть j и f независимы и имеют плотности распределения
( 0при х < 0,
РЕ(х) = р^Х) =
I Хе-^ при х > 0.
Доказать, что отношение и = распределено равномерно на отрезке (0, 1).
£ + П
Случайные величины Е и ч независимы и равномерно распределены на отрезке (-1,1). Вычислить вероятность того, что корни уравнения х2 + ^х + и = 0 вещественны.
(Задачи 29-32) сообщены мне М.И. Ядренко.)
ГЛАВА 5
ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ
СЛУЧАЙНЫХ ВЕЛИЧИН
В предыдущей главе мы видели, что наиболее полная характеристика случайной величины дается ее функцией распределения. Действительно, функция распределения одновременно указывает на то, какие значения может принимать случайная величина и с какими вероятностями. Однако в ряде случаев о случайной величине требуется знать гораздо меньше, требуется получить о ней лишь некоторое суммарное представление. Для теории вероятностей и ее приложений большую роль играют некоторые постоянные числа, получаемые по определенным правилам из функций распределения случайных величин. Среди этих постоянных, служащих для получения общей количественной характеристики случайных величин, особенно важны математическое ожидание, дисперсия и моменты различных порядков.
23. Математическое ожидание
Начнем изложение с рассмотрения следующего схематического примера: предположим, что при стрельбе из некоторого орудия для поражения некоторой цели требуется один снаряд с вероятностью рх, два снаряда — с вероятностью р2, три снаряда — с вероятностью р3 и т.д. Кроме того, известно, что и снарядов заведомо достаточно для поражения этой цели. Таким образом, известно, что
Pi + р2 + ... + Р„ = 1.
Спрашивается, сколько в среднем потребуется снарядов для поражения указанной цели.
Для ответа на поставленный вопрос будем рассуждать так. Предположим, что производится очень большое число стрельб в указанных выше условиях. Тогда на основании теоремы Бернулли мы можем утверждать, что относительное число стрельб, в которых для поражения цели потребовался только один снаряд, приблизительно равно рх. Точно так же два снаряда потребовалось приблизительно в 100р2 % стрельб и т.д. Таким обра-
зом, ”в среднем” на поражение одной цели потребуется приблизительно
-Pi + 2-рг + . . . + и • рп
снарядов.
Аналогичные задачи по подсчету среднего значения случайной величины возникают в самых разнообразных задачах. Вот почему в теории вероятностей вводят в рассмотрение особое постоянное, носящее название математического ожидания. Мы сначала дадим определение для дискретных случайных величин, отправляясь от только что рассмотренного примера.
Пусть
хь х2, ... , х„, . . .
обозначают возможные значения дискретной случайной величины £ , а
Рь Рг, Рп, ■
— соответствующие им вероятности.
Если ряд 5 хпрп сходится абсолютно, то его сумма называется п = 1
математическим ожиданием случайной величины £ и обозначается М§ .
Для непрерывных случайных величин естественным будет следующее определение: если случайная величина £ непрерывна и р(х) — ее плотность распределения, то математическим ожиданием величины £ называется интеграл
М^ = / xp(x)dx(1)
в тех случаях, когда существует интеграл
J | х | р (х ^dx.
Для произвольной случайной величины £ с функцией распределения F (х) математическим ожиданием называется интеграл
М £ = J xdF(x).(2)
Пользуясь определением интеграла Стилтьеса, мы можем дать простое геометрическое истолкование понятию математического ожидания: математическое ожидание равно разности площадей, заключенных между осью
ординат, прямой у = 1 и кривой у = F(x) в интервале (0, + оо) и между осью абсцисс, кривой у = F (х) и осью ординат в промежутке (—°°, 0). На рис. 18 соответствующие площади заштрихованы и указано с каким знаком следует взять в сумме каждую из площадей. Заметим кстати, что геометрическая иллюстрация позволяет математическое ожидание записать в таком виде:
(3)(3)М| = — / F(x)dx + / (1 - F^x^dx. ООО
(3)
(3)
Сделанное замечание позволяет во многих случаях находить математическое ожидание почти без вычислений. Так, для случайной величины,
распределенной по закону, указанному в конце § 19, математическое ожидание равно половине.
Заметим, что среди рассмотренных нами ранее случайных величин, случайная величина, распределенная по закону Коши (пример 5 § 21), не имеет математического ожидания.
Перейдем к рассмотрению примеров.
Пример 1. Найти математическое ожидание случайной величины £, распределенной по нормальному закону
1
2 а2 Л2 а2 ЛР(х) = ехр а V 2 я
2 а2 Л
2 а2 Л
По формуле (2) находим, что
1/ (х-а)2\
М | = / х exp I - ------ I dx. а у 2 л
Заменой z =мы приводим вычисляемый интеграл к виду
12
М§ = J (az + a)e-z l2dz =
V 2тг
= —-— J ze z !2dz л/ 2яТак какJ e~z !2dz = V2 tt= —-— J ze z !2dz л/ 2яТак какJ e~z !2dz = V2 ttaaJ e z^ !2dz.J e z^ !2dz.и J ze z '2dz = 0,и J ze z '2dz = 0,
= —-— J ze z !2dz л/ 2я
Так как
J e~z !2dz = V2 tt
= —-— J ze z !2dz л/ 2я
Так как
J e~z !2dz = V2 tt
a
a
J e z^ !2dz.
J e z^ !2dz.
и J ze z '2dz = 0,
и J ze z '2dz = 0,
TO
M£ = a.
Мы получили важный результат, вскрывающий вероятностный смысл одного из параметров, определяющих нормальный закон: параметр а в нормальном законе распределения равен математическому ожиданию.
Пример 2. Найти математическое ожидание случайной величины £, равномерно распределенной в интервале (а, 6).
Имеем:
* dx b2 - а2 а + Ь
М^ = J х = = •
а Ь - а 2(Ь - а) 2
Мы видим, что математическое ожидание совпадает с серединой интервала возможных значений случайной величины.
Пример 3. Найти математическое ожидание случайной величины L распределенной по закону Пуассона
ake~Q
Р £ = £ = —— (к = 0,1,2,...). к'.
Имеем:
М§ - ь к ■ - L к- = ае L
fc=o к'. k = i к'.k = i (Л—1)!
™ ак
= ае~а 2 — = а.
к = 0 к'.
. Б.В. Гнеденко
Если F (х | В) есть условная функция распределения для случайной величины £, то интеграл
M(?|B) = Jx6?F(x|B)(4)
мы назовем условным математическим ожиданием случайной величины £ относительно события В.
Пусть Вь В2,..., Вп — полная группа несовместимых событий и F(x|B!), F(x|B2),..., F(x|B„) — соответствующие этим событиям условные функции распределения величины £. Обозначим через F (х) безусловную функцию распределения величины £; по формуле полной вероятности находим, что
F(x) = S P(Bk)F(x\Bky k = X
Это равенство совместно с (4) позволяет нам получить следующую формулу:
п
М£= S P(Bfc)MaiBfc),■
k = l
которая, очевидно, может быть записана и иначе:
М£ = М М(£ |Sfc) .(5)
Только что найденная формула во многих случаях значительно упрощает вычисление математических ожиданий.
Пример 4. Рабочий обслуживает п однотипных станков, расположенных прямолинейно на расстоянии а друг от друга (рис. 19). Считая, что
12кп
<?''<>О-' О ОО' о о
*i 1=(п-1')а
Рис. 19
рабочий обслуживает станки, подходя к ним в порядке очередности, найти средний переход (математическое ожидание величины перехода) между станками.
Пронумеруем станки слева направо от 1-го до л-го и обозначим через Вк событие, состоящее в том, что рабочий находится у станка с номером к. Так как все станки по условию задачи однотипны, то вероятность р^ того, что следующим станком, потребующим внимания рабочего, будет станок с номером i, равна 1}п (1 < z < л). Величина перехода X в этом
случае равнаслучае равнаа / к(к - 1)и \2а / к(к - 1)и \2(и - к^) (и - к + 1)(и - к^) (и - к + 1)
случае равна
случае равна
а / к(к - 1)
и \2
а / к(к - 1)
и \2
(и - к^) (и - к + 1)
(и - к^) (и - к + 1)
[ (& - /)д при к > I, | (/ - к)а при к < L
По определению
1 кп
M(X|5fc) = - ( 5 (к - i^a + 2 (/ - к)а) =
И z=lz = fc+l
= — [2£2 - 2(и + 1)£ + и(и + 1)]. 2и
Вероятность рабочему находиться у к-то станка равна 1/и, поэтому по формуле (5) находим, что
« а
МХ = S —- У1кг - 2(и + \^к + п(п + 1)].
t = i 2и
Известно, что
£ ^2 = 2211222221 к = 1
МХ =МХ =я (и2 — 1)Зия (и2 — 1)Зипоэтому
МХ =
МХ =
я (и2 — 1)
Зи
я (и2 — 1)
Зи
I /1 \
- 1 +- , 3 \ и /
где /= (и — 1)д означает расстояние между крайними станками.
Математическим ожиданием и-м е рн о й случайной величины (? 1, ?2, • • ■ > ?„) называется совокупность и интегралов
^Л- -JxkdF<xxхкxn) = /xdFk(x) = M^k, где Fk(x) - функция распределения величины ^к ).
Пример 5. Плотность распределения двумерной случайной величины (11,1г) задана формулой (двумерное нормальное распределение)
/.1/1 Г (^1-«)2
=—— exp - ——
2лаха2\/1 — f2r ) L ai
2г(хх - а) (х2 - 6) + (х2 - 6)2 11
О1О2О2)
найти ее математическое ожидание.
По определению
«1 = JJxiP(xx,x2)dxxdx2 = Sxxpx(x^dxv
И
«2 = fjx2p(xx,x2)dxxdx2 = jx2p2(x2)dx2.
В примере 2 § 22 мы видели, что
. .1( (Xi - а)2)
PiGi) = ехр—— ,
oxV^F I 2°i J
f G2 - б)2 ]
Р2(х2) = — ехр—— ,
а2>/2л'~°2'
поэтому согласно результатам примера 1 настоящего параграфа находим, что
ах = а, а2 = Ь.
Нам удалось выяснить вероятностный смысл параметров а и b также и для двумерного нормального распределения.
24. Дисперсия
Дисперсией случайной величины § называется математическое ожидание квадрата уклонения § от М£. Мы условимся дисперсию обозначать символом D^. Таким образом, по определению
D£ = M(£- М£)2 ^fxdF^x),(1)
О
где через F^x) обозначена функция распределения случайной величины р = G - м^)2- Найдем связь между функцией ^(х) и функцией распределения F^ (х) величины ^. Имеем:
F^ (х) = 0 при х < О,
а при х > О
F^(x) = Р(р < х} = Р{(^ — М^)2 < х} =
= Р{—V^ < £ М£ < х/х } = Р{М£ — х/х < £ < М£ + х/х } =
= F^ (М£ + х/х ) - ^(М£ - х/х + 0) .
Формула (1) переписывается так:
D^= fdx [Fj(М§ + х/х ) - F^(M§ — х/х + 0)] = о
= 7xdF^^ + х/х ) - JxdF^S -х/х + 0) . оо
В первом интеграле произведем замену z = М£ + х/х, а во втором — замену z = М^ — х/х, в результате
JxdF^M^ + х/х ) = f (z - М£)2 c?Ft(z),
оМ?
$xdF^M^ — х/х + 0)= J (z - М%)2 dFg(z).
ООО
Таким образом,
Щ = J(z -М?)2 dF^.(2)
Так как
(z - М^)2 = z2 - 2zM^ + (М^)2 и М£ = JzdF^(z),
то формула (2) может быть записана иначе
D£ = Jz2dF^(z) - (JzdF^z))2 = М§2 - (М£)2.(3)
Так как дисперсия является неотрицательной величиной, то из последнего соотношения мы выводим, что
^dF^XjzdF^z))2.
Это неравенство представляет собой частный случай известного неравенства Буняковского — Коши.
Подобно математическому ожиданию дисперсия существует не для всех случайных величин. Так, рассмотренный нами ранее (пример 5 § 21) закон Коши не имеет конечной дисперсии.
Рассмотрим примеры вычисления дисперсии.
Пример 1. Найти дисперсию случайной величины £, равномерно распределенной в интервале (а, Ь).
В нашем примере
ьJx2dF^(x) = / ОьJx2dF^(x) = / ОЬ2 + ab +а23Ь2 + ab +а23х2Ь3 - а3
ь
Jx2dF^(x) = / О
ь
Jx2dF^(x) = / О
Ь2 + ab +а2
3
Ь2 + ab +а2
3
dx =
b -а 3(Ь-а)
В предыдущем параграфе было найдено а + b
М§ = ■
2
а + b1а + b1(Ь - а?12(Ь - а?12Таким образом, a2 +ab + Ь2
а + b
1
а + b
1
(Ь - а?
12
(Ь - а?
12
Мы видим, что дисперсия зависит только от длины интервала (а, 6) и является возрастающей функцией длины. Чем больше интервал значений, принимаемых случайной величиной, т.е. чем больше рассеяны ее значения, тем больше дисперсия. Дисперсия, таким образом, играет роль меры рассеяния (разбросанности) значений случайной величины около математического ожидания.
Пример 2. Найти дисперсию случайной величины £, распределенной по нормальному закону
РМ =РМ =(Л - я)2 ]2а2 ](Л - я)2 ]2а2 ]
РМ =
РМ =
(Л - я)2 ]
2а2 ]
(Л - я)2 ]
2а2 ]
Мы знаем, что М£ = а, поэтому
1(*-д)г
Dg = J(x - a)2p(x)dx =/(х - а)2е 2а^ dx.
о V^i?
Произведем под интегралом замену переменных, положив
х - а
г = о
при этом
D£ = $z2e-zll2dz.
х/2т(
Интегрированием по частям находим, что
$z2e zTl2dz= J -ze /2 + Je~z2!2dz = \pFn.
Таким образом, окончательно
Щ = о2.
Мы выяснили, таким образом, вероятностный смысл второго параметра, определяющего нормальный закон. Мы видим, что нормальный закон распределения полностью определен математическим ожиданием и дисперсией. Это обстоятельство широко используется в теоретических изысканиях.
Заметим, что и в случае нормально распределенной случайной величины дисперсия позволяет судить о рассеянии ее значений. Хотя при любых положительных значениях дисперсии нормально распределенные случайные величины могут принимать все вещественные значения, все же рассеяние значений случайной величины будет тем меньше, чем меньше дисперсия; при этом вероятности значений, близких к математическому ожиданию, будут больше. Это обстоятельство было отмечено нами в предыдущей главе при первоначальном знакомстве с нормальным законом.
Пример 3. Найти дисперсию случайной величины X, рассмотренной в примере 4 § 23.
Сохранив обозначения примера 4, находим, что
1 кп
M(X2|5fc)= - ( S (к - i^a2 + S (i-kfa2) =
П i=li = k+l
а2
= — [(& - 1) • к^к - 1) + (п - к^ (п - к + 1) (2и - 2к + 1)] = би
а2
= — [6£2 - 6(и + l)fc + (2и + 1) (и + 1)]
6
и, следовательно,
1 п
М(Х2) = — S M(X2|Sfc) = и fc = l
а2_а2
= — [и (и + 1) (2и + 1) — 3(и + 1)2и + п(п + 1) (2и + 1)] = — (и2 — 1).
би6
Отсюда следует, что
D(X) = М(Х2) — (MX)2 = Vn2 !)- а (И-'1) = 69и
а2(п2 - 1) (и2 + 2)/2 /212\
=-=( J + ++ I .
18и18 \ и —1 л(и — 1) и2(и —1)/
Дисперсией и-м е рн о й случайной величины (§1, $2> • • ■ > £п) называется совокупность и2 постоянных, определяемых формулой
bjk = И . . . /(х, - NUp (хк - M^k')dF(x1, х2х^
(1 < к < п, 1 < / < п).(4)
Так как при любых вещественных /,(1 < /< и)
J..J{S tj(xj -N\xj^2dF(x1,x2,. .. ,х^ = S 5 bjktjtk>0, /=1/=1 к = 1
то, как известно из теории квадратичных форм, величины bjk удовлетворяют неравенствам
611 612 . . . Ьхк
О при к = 1,2,. . . , п.О при к = 1,2,. . . , п.Ьц Ь22 . . . Ь2к
О при к = 1,2,. . . , п.
О при к = 1,2,. . . , п.
bkv bk2 ... Ькк
Очевидно, что
Ькк "" °Д-
Величины bjk при kF] называются смешанными центральными моментами 2-го порядка величин р и ^к; очевидно, что bjk = bkj.
чч^ЬцЬи^ЬцЬиСледующая функция от моментов второго порядка
ч
ч
^ЬцЬи
^ЬцЬи
носит название коэффициента корреляции между величинами £;. и р . Коэффициент корреляции является мерой силы связи (линейной связи) между величинами ^ и F. Величина коэффициента корреляции, как это следует из неравенства Буняковского, заключена в пределах (—1, +1).
Значения ±1 достигаются только в случае, когда § и р связаны линейной зависимостью.
В дальнейшем мы увидим, что для независимых величин коэффициент корреляции равен нулю.
Пример 4. Найти дисперсию двумерной случайной величины (§! Д 2), распределенной по невырожденному нормальному закону
р(х,у)=—- X
2ТГ01 O2vl-r
X expX exp1 20^751 20^75(Л - я)2о2(Л - я)2о2(х-а)(у-Ь)2 гО1О2(х-а)(у-Ь)2 гО1О2(У-б)202(У-б)202
X exp
X exp
1 20^75
1 20^75
(Л - я)2о2
(Л - я)2о2
(х-а)(у-Ь)
2 г
О1О2
(х-а)(у-Ь)
2 г
О1О2
(У-б)2
02
(У-б)2
02
Согласно формуле (4) и результатам примера 2 настоящего параграфа и примера 1 § 23, находим, что
D£i = Di, Dg2 = 02 -
Далее,
612 = 621 = Л(^ -«)О -b^p^x.y'tdxdy^
1_ (т-»)2
= /о 2Л dy X
2ttoi o2V 1 - г2
(1[ х - а у - b V)
X f(x -а)(у- Ь)ехр - -—— Iг I <dx.
I 2(1 -Г) \ Ojо2 / )
Заменой
/ х - а У - b \ у — b
Z =- IГI, t =
Vl-r2 Х °1°2 /°2
выражение для 612 приводится к виду
- — - _ Л
612=621= —Л(0102>/1fz+roiO2f2)e 22 dz dt =
2тг
X Jte 2 dtfze 2 dz = roio2- Отсюда находим, что
ff(x - a) (J - b)p(x, y)dx dy = M(^ - M^)(g2 M£2)
°1O2Vd^dT2
Мы видим, что двумерный нормальный закон (так же, как и одномерный) полностью определяется заданием математического ожидания и дисперсии, т.е. определяется заданием пяти величин M^,Mg2, 0§! , 0^2 и Г.
Теоремы о математическом ожидании и дисперсии
Теорема 1. Математическое ожидание постоянной равно этой постоянной.
Доказательство. Постоянную С мы можем рассматривать как дискретную случайную величину, которая может принимать только одно
значение С с вероятностью единица; поэтому
МС = С • 1 = с.
Теорема 2. Математическое ожидание суммы случайных величин равно сумме их математических ожиданий:
М(£ + т?) = М£ + Мт?.
Доказательство. Рассмотрим сначала случай дискретных случайных величин £ и т?. Пусть at, агап,.. . — возможные значения величины £ и Pi, рг,. . . , рп,. . . — их вероятности; Ьг, Ьг,. . . , bk). .. — возможные значения величины т? и qx, q^,. .. , qk,... — вероятности этих значений. Возможные значения величины £ + т? имеют вид ап + Ьк (к, п = 1,2,. . .). Обозначим через рпк вероятность того, что £ примет значение ап, а р — значение Ьк. По определению математического ожидания
М(|+т?)= 5 (a„+bk>nk = S S (ап+Ьк)рпк = п,к = 1п = 1 к = 1
= Ь„(£ Р„к) + 2 Ьк(^ Рпк). л = 1к = 1к = 1л = 1
Так как по теореме о полной вероятности
2 Рпк=Рп и 2 Pnk = qk, к=1л = 1
ТО ОООООО
2 ап 2 Рпк = 2 »пРп = ^ л -1к = 1п-1
И ОО ,ОООО
s bk ( 5 р„к) = 5 bkqk = Мт?. к = 1п=1к=1■
Доказательство теоремы для случая дискретных слагаемых завершено.
Точно так же в случае, когда существует двумерная плотность распределения р(х, у) случайной величины (£, т?), по формуле (3) § 23 находим:
М£ = М(£ +т?) = $xdF^x^ = fx(fp(z,x - z)dz)dx =
= ffxp(z, X - z^dz dx = JJ(z + y)p(z, y^dz dy =
= //zp(z, y)dz dy + ffyp(z,y)dz dy = $zp^dz + fyp^ (y)dy = M? + Mt?.
В общем случае теорема 2 будет доказана нами в дополнении 1.
Следствие \. Математическое ожидание суммы конечного числа случайных величин равно сумме их математических ожиданий.
М(^ + ?г +... + !„) = м£1 + М£2 + ... + м^п.
Действительно, в силу только что доказанной теоремы
M(L + L +•-• + £„) = ML + M(L + L + • • ■ + L) =
= ml + ml + m(L + ... + §„)=•■• = ml + ml + • • - + м$„-
Следствие 2. Математическое ожидание суммы
^ = L Чз + •-. + ^,
где р — случайная величина, принимающая лишь целочисленные значения, случайные величины L, L, ■ • • не зависят от р , математическое ожидание р конечно и ряд
S M|§fc|P{Ai>fc}
k = l
сходится, существует и равно
ML= 5 М£уР{д>/}.
7 = 1
Доказательство. Действительно, условное математическое ожидание, при условии, что р = к, равно
M{fJM = k} = ML + ML + ...+М^-
Безусловное математическое ожидание
ML = S М{Г|д=к}-Р{р = к} = 2 Р{р = к}2М< = к = 1к = 1/=1 '
= 2 ML 2 Р{р = к} = SMLP{m>/}.
7=1' к=// = 1
Если слагаемые L, L, L,-- одинаково распределены, т.е. если P{L < *}=P(L < х}= . . ,=F(x),to
М£д = Mf, • Мр.
Действительно,
ML = 2 Р{р = к} 2 ML = ML S кР{р= k) = ML Мд. к=1/=1к=1
Пример 1. Число космических частиц, попадающих на данную площадку, есть случайная величина р, подчиненная закону Пуассона с параметром а, каждая из частиц несет энергию L зависящую от случая. Найти среднюю энергию &, получаемую площадкой в единицу времени.
Согласно следствию 2 имеем:
М& = М£ • Мд = aML
Пример 2. По некоторой цели стрельба ведется до n-го попадания. Считая, что выстрелы производятся независимо друг от друга и вероятность попадания при каждом выстреле равна р, найти математическое ожидание расхода снарядов.
Обозначим через £к число снарядов, потраченных от (к — 1)-го до Л-го попадания. Очевидно, что расход снарядов на п попаданий равен
£ = £i + £2 + • - • + £„
и, следовательно,
М^ = М^ + М£2 + ■ - +М£„.
Но
МЬ = М?2 = . . . = М£„ и
следовательно,
М£ = п/р.
Теорема 3. Математическое ожидание произведения независимых случайных величин § и р равно произведению их математических ожиданий.
Доказательство. Если величины £ и г/ дискретны; av, а2, . . , . . . , ак, . . . — возможные значения £ и р2, р2, . . . , рк,. . . — вероятности этих значений; bY, b2, . . . , Ьп, . . . — возможные значения р и Дх, q2,... . . . , qn, . . . — вероятности этих значений, то вероятность того, что § примет значение ак, а р — значение Ьп, равна Pkqn- По определению математического ожидания
М§77= 2 akbnpkqn = 5 S akbnpkqn = к,пк=\ п=Т
= ( S акркН 5 bnqn )= М^Мт?. = 1л = 1
Лишь немногим сложнее доказательство для случая непрерывных величин, провести его мы предоставляем читателю.
Следствие 1. Постоянный множитель можно выносить за знак математического ожидания
MQ = CMt
Это утверждение очевидно, так как, каково бы ни было %, постоянное С и величину § можно рассматривать как независимые величины.
Теорема 4. Дисперсия постоянного равна нулю.
Доказательство. Согласно теореме 1,
DC = M(C- МС)2 = М(С- С)2 = МО = 0.
Теорема 5. Если с - постоянное, то
Dcg = c2Dg.
Доказательство. В силу следствия из теоремы 3
Deg = M[cg - Mcg]2 = M[cg - cMg]2 =
= Mc2[g - Mg]2 = e2M[g — Mg]2 = c2Dg.
Теорема 6. Дисперсия суммы независимых случайных величин £ up равна сумме их дисперсий
D(g + р) = Dg + От?.
Доказательство. Действительно,
D (g + р) = M[g + р - M(g + т?)]2 = M[(g - Mg) + (р - Мт?)]2 =
= Dg + Dp + 2M(g - Mg) (p - Мт?) .
Величины g и p независимы, поэтому независимы также величины g — Mg и р — Мт?; отсюда
M(g — Mg) (т? — Мт?) = M(g - Mg) ■ М(т? — Мт?) = 0.
Следствие 1. Если gi, g2, . . . , g„ - случайные величины, каждая из которых независима от суммы предыдущих, то
D(gi + g2 + . . . + g„) = Dg! + Dg2 + . . . + Dg„.
Следствие 2. Дисперсия суммы конечного числа попарно независимых случайных величин gi, g2,.••,g„ равна сумме их дисперсий.
Доказательство. Действительно
D(gi + g2+... + g„) = M( £ (gfc — Mgfc))2 =
= м £ £ <gfe - Mgj (gy - Mgz) = £ £ M(gfe - Mgfc) (g. - Mg.)=
= £ Dg& + S M(g* -MgJ(g - Mg.).
k = 1k * /''
Из независимости любой пары величин g^ и L (к ^ /) вытекает, что при к
M(gfc-MgJ(g/-Mg/) = O.
Этим, очевидно, доказательство завершено.
Пример 1. Нормированным уклонением случайной величины £ £ — М? называется отношение ■
Vd§
/ 5 - MS х
Доказать, что D( I -
\ Vol /
Действительно, £ и М£, рассматриваемые—как случайные величины, независимы, поэтому в силу теорем 5 и 6
D§ + D(-M^) D£
D I = —= = 1 ■
\ Vo? / °s D?
Пример 2. Если £ и p — независимые случайные величины, то
D(£ — т?) = D£ + Dp.
Действительно, в силу теорем 5 и 7
D(-p) = (-4)2 От? = От?
и
DCS — 7?)= D£ + Dp.
Пример 3. Теоремы 2 и 6 позволяют весьма просто вычислять математическое ожидание и дисперсию числа р наступлений события А при п независимых испытаниях.
Пусть рк есть вероятность появления события А при к-м испытании.
Обозначим через рк число появлений событиях при к-м испытании. Очевидно, что рк есть случайная величина, принимающая значения 0 и 1 с вероятностями qk = 1 — рк ирк соответственно.
Величина р, таким образом, может быть представлена в виде суммы
Д = Д1 + р2 + .. .+рп.
Так как
Wk = 0 qk + 1 -рк =рк
И
°Рк = Wk - (Мда2 =0 -qk + 1 рк ~р2к=рк(1 -pk) = pkqk,
то доказанные теоремы позволяют заключить, что
W = Pi + р2 + • • -+Р„
И
D^=Piqi *Р2Ч2 + ..*+м„.
Для случая схемы Бернулли рк = р и, следовательно, Мд = пр и Од = npq.
Заметим, что отсюда
D^ = ^.п пD^ = ^.п пД
D^ = ^.п п
D^ = ^.п п
М- =р; п
Моменты
' Моментом к-го порядка случайной величины § называется математическое ожидание величины (£ - а) к:
vk(a) = М(^ ~ а)к.(1)
Если а = 0, то момент называется начальным. Легко видеть, что начальный момент первого порядка есть математическое ожидание величины £.
Если а = М£, то момент называется центральным. Легко видеть, что центральный момент первого порядка равен нулю, а центральный момент второго порядка есть не что иное, как дисперсия.
Начальные моменты мы станем обозначать буквой vk, а центральные — буквой рк, указывая в обоих случаях нижним индексом порядок момента.
Между центральными и начальными моментами существует простая связь. Действительно, пи
д^МСе-М^ S Ck(-M^)"-kM^ = S Ck<-W-kvk. (2)
fc=Oк = 0
Так как Pj = М£, то п .
д„= 2 (-l)"-fcC>fcpI--fc + (-l)”-i(«-l)(yi)”.(3)
fc = 2
Выпишем эту связь между моментами для первых четырех значений п:
Мо = 1,
Mi = о,
М2 = ^2 "V1,(3')
Дз =р3 -3p2Pj +2pi,
Д4 = ^4 — 4рзР1 + 6p2Pi — 3pi .
Эти первые моменты играют особо важную роль в статистике.
Величина
mfc = M|£-a|k(4)
носит название абсолютного момента к-го порядка.
Согласно определению математического ожидания М(£ - д)к должно вычисляться по формуле
vk(a) = JxdG(x\(1')
где G(x) обозначает функцию распределения величины (£ - а)к. Однако при действительных расчетах предпочитают пользоваться другой формулой:
vM = f(x a)kdF(x),(5)
где F (х) — функция распределения величины £. Для того чтобы формулы (1') и (5) не противоречили друг другу, необходимо, чтобы имели место равенства
JxdG(x~) = J(x - a)kdF(x) .
Докажем, что это действительно так.
Если к — нечетное число, то (£ — а)к — неубывающая функция § и поэтому
G(x) = Р{а - а) < х) = Р{£ - а <} =
= Р{£ < а + х/х } = F(a + \/х ).
При нечетном к, таким образом,
М(£ я)к = $xdF(a + х/х ). к
Нетрудно подсчитать, что заменой z = а + у х мы приводим этот интеграл к виду (5).
Если же к — четное, то (£ - а^к есть неотрицательная величина и, следовательно, G(x) = 0 при х< 0. При х>0
,К г-к ,—.
G(x) = Р{(£ - a)fc < х} = Р{д - х/х < § < а + x/х }=
= F(a + х/х") — F(a - х/х" + 0).
Таким образом, при четном к
М(£ - а)к = f xdF(a + х/х") — f xdF(a - х/х + 0). оо
к к I—
Заменами z = а + у х в первом интеграле и z = а - у х во втором мы приводим М (£ - а) к к виду (5).
Мы доказали частный случай следующей теоремы.
Теорема 1. Если F (х) - функция распределения величины %, f (х) - непрерывная функция, то
Mfa) = Jf(x)dF(x).
Так как мы условились считать, что случайная величина § имеет математическое ожидание только в том случае, когда изображающий его интеграл абсолютно сходится, то ясно, что момент fc-ro порядка у величины £ существует тогда и только тогда, когда сходится интеграл
/|x|fc^(x).
Из этого замечания следует, что если случайная величина § имеет момент fc-ro порядка, то она имеет также моменты всех положительных порядков, меньших чем к. В самом деле, гак как при г < к |-х | к > | х К, если I XI >1,то
/|х|г<2^(х) = /|х|^Е(х) + / |х|'с№’Е(х)<
|х К 1|х |> 1
</ |х|^(хн / \x\kdF^xy.
|х|<1lvl>l
Первый интеграл в правой части неравенства конечен в силу конечности пределов интегрирования и ограниченности подинтегральной функции, второй интеграл сходится в силу предположения.
Пример. Найти центральные и центральные абсолютные моменты случайной величины, распределенной по нормальному закону
1| (х - я)2
Р^ = ехр——-
о VTn* 2о
Имеем:
1f ” й)2 ) ок , - "2
Ик = Дх-а^ехр'— / dx =fxke 2 dx.
оI' у/2я
При к нечетном, в силу нечетности подинтегральной функции, Ик = °-
При к четном
Ик = тк = V “ о J Я О
Ик = тк = V - 0^2 7Г/2" .//= V - о 2 2 Г( -1Т\Ик = тк = V - 0^2 7Г/2" .//= V - о 2 2 Г( -1Т\к^Л оо 2 /с 2 e-zdz =Ок^Л оо 2 /с 2 e-zdz =ОПодстановкой х2 - 2z мы приводим этот интеграл к виду
Ик = тк = V - 0^2 7Г
/2" .//
= V - о 2 2 Г( -
1Т\
Ик = тк = V - 0^2 7Г
/2" .//
= V - о 2 2 Г( -
1Т\
к^Л оо
2 /с 2 e-zdz =
О
к^Л оо
2 /с 2 e-zdz =
О
+ 1 \,к'
—- = ок(к - 1) (к - 3) . . . 1 = ок -~
2 /^^ШУ
При к нечетном абсолютный момент равен
Моменты функций распределения не могут быть произвольными величинами. Действительно, каковы бы ни были постоянные t0, tx,..., tn, квадратичная форма
ипи
J„=K 2 ffc(x - a)fc)2dF(x) = S Hvk+j(a)tkt>0 fc=O/=1 fc=l
неотрицательна; поэтому первые ^ (з) должны удовлетворять следующим неравенствам:
МО и (О-vk(a)
> 0 (k = 1,2,... ,n).> 0 (k = 1,2,... ,n).МО v2(a)... vk+1(a)
> 0 (k = 1,2,... ,n).
> 0 (k = 1,2,... ,n).
Vk^) Vk+i(a) v2k(a)
Аналогичным неравенствам подчинены и абсолютные моменты.
Относительно абсолютных моментов мы докажем еще следующую теорему.
Теорема 2. Если случайная величина £ имеет абсолютный момент порядка к, то при любых Гит (0 < t < т < к)
t т к
V^z^ NmT ^ Nmk>
где обозначено
mt = М| £ - a |f,
а — любое вещественное число.
Д о к а з а т е л ь с т в о. Докажем сначала теорему для того случая, когда t ,т и к — рациональные числа. Пусть для определенности
t = p!q, т = s/q, к = u;q, причем по предположению теоремы
р < s < и.
Пусть теперь г — какое-нибудь целое положительное число, меньшее чем и. Рассмотрим неотрицательную квадратичную форму
г— 1г+ 1
m,. _! к2 + 2m г и и + т r+] и2 = J Vй \х\ 14 + и lxl 2Q]2 dF(x).
q~q F
Условие ее неотрицательности состоит, как известно, в том, что
т2 £ mr-i • т г+1 • q q q
Это неравенство, очевидно, может быть записано и в таком виде:
т2г < т^_х • т^+1 . q q q
Если придать г последовательно значения от 1 до г, то мы получим последовательность неравенств
т j тотг ,т хт3,... mr < mr„v mr+i •
qq q q q q ~q q
Заметив, что всегда m0 = 1, перемножив выписанные неравенства и произведя сокращения, мы приходим к неравенству
q q
_i15 ч
Таким образом, m' < mr+i> или же m? < mr+i • qqq~~<Г
Это неравенство доказывает, очевидно, теорему, в случае t, т и к рациональных.
Так как функция mt непрерывна относительно аргумента t в области О С t < к, то предельным переходом мы убеждаемся в правильности теоремы при любых t ,т и к.
Заметим, что в только что доказанной теореме содержится следующее важное свойство моментов:
£11_L_
тх < т2 < т2 С . . .< т^ £ ^£+} £ .. .
В примерах предыдущих параграфов два первых момента случайной величины полностью определяли ее функцию распределения, если только заранее известен вид этой функции (так это имело место для распределений нормального, Пуассона, равномерного и др.). В математической статистике играют значительную роль законы распределения, зависящие от большего чем два числа параметров. Если заранее известно, что случайная
величина подчинена закону вполне определенного вида, но неизвестны лишь значения параметров, то эти неизвестные параметры в важнейших случаях определяются через первые моменты. Если же нам неизвестно, к.какому виду принадлежит функция распределения, то, вообще говоря, не только знание одних первых, но и знание всех целочисленных моментов не дает возможности определить неизвестную функцию распределения. Оказывается, можно построить примеры различных функций распределения с одинаковыми моментами всех целочисленных порядков. В связи с этим возникает вопрос (проблема моментов): дана последовательность постоянных чисел
с о = 1, с 1, с 2, с з,. .. ;
при каких условиях существует такая функция распределения FAxV для которой при всех п имеют место равенства
сп = Jx”JF(x),
когда эта функция единственна?
В настоящее время эта задача получила полное решение, мы не останавливаемся на нем, так как оно стоит в стороне от назначения нашей книги.
Среди прочих числовых характеристик наиболее сущее i венную роль играют так называемые семиинварианты; их определение мы отложим до главы 7, сейчас же отметим только следующее. При сложении независимых случайных величин момент суммы, вообще говоря, не равен сумме моментов слагаемых. Для момента суммы независимых слагаемых £ и г? имеет место равенство
М(£ + т?)и = S C^kWin"k. к=0
Семиинварианты различных порядков обладают тем свойством, что при сложении независимых слагаемых семиинвариант суммы равен сумме семиинвариантов слагаемых того же порядка. Оказывается, что семиинвариант любого порядка к есть рациональная функция моментов порядков, меньших или равных к.
Упражнения
Случайная величина Е принимает целые неотрицательные значения с вероятностями
к
Р{£ = fc} = гтт-, а > 0 - постоянная; это распределение носит назва- (1
ние распределения Паскаля1.
7 аХ X к (1 + с). . . (1 + (к - 1)а)
= Р{Е = U = () щ Ро "РИ всех к > 0, где
а > О, X > О и р0 = Р{{ = О = (1 + аХ )-1. Это распределение носит название распределения Пойа.
Найти М£ и О£.
Пусть и - число появлений события А в п независимых испытаниях, в каждом из которых Р(Д) = р. Найти
а) Мд3. б) Мд4, б) М | д - пр |.
Вероятность появления события А в к-м испытании равна рк. Пусть д - число появлений события Л в п первых независимых испытаниях. Найти
пп
а) Мд, б) Од, в)М(д- S Р/)3, г)М(д- S Р/)4. i = 1z = 1
Доказать, что в условиях предыдущей задачи максимум Од достигается для
1 £
данного значения а = — 2, Р- при условии и ,
Рх ~Рг = ... = Рп=а.
Пусть д - число появлений события А в п независимых испытаниях, в каждом из которых Р(Л) = р. Пусть, далее, величина р равна 0 или 1 в зависимости от того, оказалось д четным или нечетным. Найти Мщ
Плотность распределения случайной величины £ равна
1 Р(х) = — е
(распределение Лапласа^. Найти М£ и Df.7. Плотность распределения абсолютной распределением Максвелла(распределение Лапласа^. Найти М£ и Df.7. Плотность распределения абсолютной распределением Максвеллавеличины скорости молекулы даетсявеличины скорости молекулы дается
(распределение Лапласа^. Найти М£ и Df.
7. Плотность распределения абсолютной распределением Максвелла
(распределение Лапласа^. Найти М£ и Df.
7. Плотность распределения абсолютной распределением Максвелла
величины скорости молекулы дается
величины скорости молекулы дается
при х > Опри х > О
при х > О
при х > О
приприООприприх < 0.х < 0.
при
при
О
О
при
при
х < 0.
х < 0.
и р(х) = 0 при х < 0, а > 0 - постоянная. Найти среднюю скорость молекулы, ее дисперсию, среднюю кинетическую энергию (масса молекулы равна т) и дисперсию кинетической энергии.
Плотность вероятностей молекуле, находящейся в броуновском движении, отстоять на расстоянии хот отталкивающей стенки в момент t, если в момент /0 она отстояла на расстоянии х„, дается формулой
1
е
р№ =р№ =l^nDt 1
р№ =
р№ =
Найти математическое ожидание и дисперсию величины перемещения молекулы за время от Го до t (D - постоянная).
Доказать, что для произвольной случайной величины £, возможные значения которой находятся в промежутке (а, 6), выполняются следующие неравенства
a<E<b, D£ < (6 - а)2/4.
Пусть X;, i2, . ... хп - возможные значения случайной величины £. Доказать, что при л -* <”
а) М£п+1/М£п -♦ max Ху, б) '^М£И -► max Xj.
ii
Пусть F(x) - функция распределения £. Доказать, что если М£ существует, то
M£=/[l -F(x) + F(-x)]dx 0
и для существования М£ необходимо и достаточно, чтобы
iim xF(x) = lim x[l-F(x)]=0.
На отрезок (0, / ) наудачу брошены две точки. Найти математическое ожидание, дисперсию и математическое ожидание л-й степени расстояния между ними.
Случайная величина £ распределена логарифмически нормально, т.е. при х > О плотность распределения £ равна
р(->0 = =еха •sj'Xnр(->0 = =еха •sj'XnT^dnx-c)2T^dnx-c)2
р(->0 = =е
ха •sj'Xn
р(->0 = =е
ха •sj'Xn
T^dnx-c)2
T^dnx-c)2
(р(х) = 0 при х<0). Найти М£ и D£.
Случайная величина £ нормально распределена с параметрами а и а. Найти М I £ - а I..
В ящике содержится 2” билетов; номер i (z = 0, 1, 2, . . . , и) обозначен на Сп из них. Наудачу вынимаются т билетов, s - сумма их номеров; найти Ms и Ds.
Случайные величины £,, £2, . ..,£„+m (л > zn) независимы, одинаково распределены и имеют конечную дисперсию. Найти коэффициент корреляции между суммами
s = £j + £2 + • • - + £« и о = £m +1 + £m+2 + • • ■ + Чт-vn-
Случайные величины £ и ц независимы и нормально распределены с одними и теми же параметрами а и а. Найти коэффициент корреляции между а£ + Рр и а£ - Рр, а также их совместное распределение (а и 0 - постоянные).
Случайный вектор (£, ц) нормально распределен; М£ = а, Мд = Ь, D£ = а,, Dr, = a2, R — коэффициент корреляции между £ и ц. Доказать, что R = cosqn, где 4 = P{(£-zz) (£-»)< 0}.
Пусть х, й х2 - результаты двух независимых наблюдений над нормально распределенной величиной £. Доказать, что М max(х,, х2 ) = а + а/х/тц где а = М£, а3 = D£.
Случайный вектор (£, ц) нормально распределен; М£ = Мп = С. D£ = Оц = I, М£л = R, Доказать, что
М max (£, ц) =М max (£, ц) =1 -R1 -Rяя
М max (£, ц) =
М max (£, ц) =
1 -R
1 -R
я
я
Неровнотой пряжи по длине волокна называется величина
а " - а'
Х = ,
а
где (Z есть математическое ожидание длины волокна, а" - математическое ожидание длины тех волокон, которые больше а, а’ - математическое ожидание длины тех волокон, которые меньше а. Найти связь между величинами (если $ распределено нормально)
а) X, а, М I £ — а I, б) X, а, а.
Случайные величины £,, £2, . . . , £„ .. . независимы и равномерно распределены в (0, 1). Пусть v - случайная величина, равная тому к, при котором впервые сумма
sk = ^i + ^2 + • ■ • + Ek
превосходит 1. Доказать, что Му = е.
Пусть £ - случайная величина с плотностью распределения
Найти М min(| £ I, 1).
(Задачи 22 и 23 сообщены мне М.И. Ядренко.)
ГЛАВА 6
ЗАКОН БОЛЬШИХ ЧИСЕЛ
Массовые явления и закон больших чисел
Огромный опыт, накопленный человечеством, учит нас, что явления, имеющие вероятность, весьма близкую к единице, почти обязательно происходят. Точно так же события, вероятность наступления которых очень мала (иными словами, очень близка к нулю), наступают очень редко. Это обстоятельство играет основную роль для всех практических выводов из теории вероятностей, так как указанный опытный факт дает право в практической деятельности считать мало вероятные события практически невозможными, а события, происходящие с вероятностями, весьма близкими к единице, практически достоверными. При этом на вполне естественный вопрос, какова должна быть вероятность, чтобы мы могли событие считать практически невозможным (практически достоверным), однозначного ответа дать нельзя. И это понятно, так как в практической деятельности необходимо учитывать важность тех событий с которыми приходится иметь дело. Так, например, если бы при измерении расстояния между двумя селениями оказалось, что оно равно 5340 м и ошибка этого измерения с вероятностью 0,02 равна или больше 20 м, то мы можем пренебречь возможностью такой ошибки и считать, что расстояние действительно равно 5340 м. Таким образом, в нашем примере мы считаем событие с вероятностью 0,02 практически несущественным и в своей практической деятельности его не учитываем. В то же время в других случаях пренебрегать вероятностями 0,02 и даже еще меньшими нельзя. Так, если при строительстве большой гидроэлектростанции, требующей огромных материальных затрат и человеческого труда, выяснилось, что вероятность катастрофического паводка в рассматриваемых условиях равна 0,02, то эта вероятность будет сочтена большой и при проектировании станции она должна быть учтена, а не отброшена, как это было сделано в предыдущем примере. Таким образом, только требования практики могут нам подсказать критерии, согласно которым мы будем считать те или иные события практически невозможными или практически достоверными.
В то же время необходимо заметить, что любое событие, имеющее положительную вероятность, как бы мала ни была эта вероятность, может произойти, и если число испытаний, в каждом из которых оно может
произойти с одной и той же вероятностью, очень велико, то вероятность хотя бы однократного его появления может стать сколь угодно близкой к единице. Это обстоятельство постоянно следует иметь в виду. Однако если вероятность некоторого события очень мала, то чрезвычайно трудно ожидать его появления в каком-либо заранее определенном испытании. Так, если некто утверждает, что при первой же раздаче карт между четырьмя партнерами каждый получит карты только одной масти, то естественно заподозрить, что при раздаче руководствовались каким-то определенным соображением, например, расположили карты в определенном, известном сдающему, порядке. Эта наша уверенность основывается на том, что вероятность такой раскладки при хорошей тасовке равна (9!)44!/36! < < 1,1 • 10~18, т.е. чрезвычайно мала. Тем не менее однажды факт такой раскладки карт был зарегистрирован. Этот пример достаточно хорошо иллюстрирует различие между понятиями практической невозможности и невозможности, так сказать, категорической.
Из сказанного понятно, что в практической деятельности, да и в общетеоретических задачах, большое значение имеют события с вероятностями, близкими к единице или нулю. Отсюда становится ясным, что одной из основных задач теории вероятностей должно быть установление закономерностей, происходящих с вероятностями близкими к единице: при этом особую роль должны играть закономерности, возникающие в результате наложения большого числа независимых или слабо зависимых случайных факторов. Закон больших чисел является одним из таких предложений теории вероятностей и при том важнейшим.
Под законом больших чисел теперь было бы естественно понимать всю совокупность предложений, утверждающих с вероятностью, сколь угодно близкой к единице, что наступит некоторое событие, зависящее от неограниченно увеличивающегося числа случайных событий, каждое из которых оказывает на него лишь незначительное влияние. Это общее представление о теоремах типа закона больших чисел можно сформулировать и несколько определеннее: пусть дана последовательность случайных величин
£1 , ?2, • • ■ , 5И, • ■ ■ (1)
Рассмотрим случайные величины £„, являющиеся некоторыми заданными симметрическими функциями от первых п величин последовательности (1) :
^п = /л(£1 , Ь> •••,£») •
Если существует такая последовательность постоянных at, а2, • • •, ап,. .. , что при любом е > О
(2)(2)lim Р{| ?„ - ап | <е}= 1, Л —*■ оо
(2)
(2)
то последовательность (1) подчиняется закону больших чисел с заданными функциями
Обычно, однако, в понятие закона больших чисел вкладывается гораздо более определенное содержание. А именно, ограничиваются тем случаем, когда /„ есть среднее арифметическое величин £ i,£2,••-.£„•
Если в соотношении (2) все величины ап равны одной и той же величине а, то говорят, что случайные величины ^п сходятся по вероятности к а. В этих терминах соотношение (2) означает, что £п — ап сходится по вероятности к нулю.
Наблюдая единичные явления, мы наблюдаем их вместе со всеми их индивидуальными особенностями, затемняющими проявление тех закономерностей, которые имеют место при наблюдении большого числа аналогичных явлений. То, что факторы, не связанные с существом всего процесса в целом, а проявляющиеся только в единичных его осуществлениях, при рассмотрении среднего из большого числа наблюдений взаимно погашаются, было замечено еще давно.
Позднее этот эмпирический результат отмечался все чаще и чаще и притом, как правило, без попытки найти его теоретическое объяснение. Впрочем, такое объяснение многим авторам и не требовалось, так как наличие закономерностей как в явлениях природы, так и в общественных явлениях для них было не чем иным, как проявлением правил божественного порядка.
Некоторые авторы до сих пор обедняют содержание закона больших чисел и даже искажают его методологическое значение, сводя его попросту к наблюдающейся на опыте закономерности. На самом же деле непреходящая научная ценность исследований Чебышева, Маркова и других исследователей в области закона больших чисел состоит не в том, что они подметили эмпирическую устойчивость средних, а в том, что они нашли те общие условия, выполнение которых обязательно влечет за собой статистическую устойчивость средних.
Для иллюстрации действия закона больших чисел приведем следующий схематический пример. По современным физическим воззрениям любой газ состоит из огромного количества отдельных частиц, находящихся в непрестанном хаотическом движении. Про каждую отдельную молекулу нельзя предсказать, с какой скоростью она будет двигаться и в каком месте она будет находиться в каждый данный момент времени. Однако мы можем рассчитать при определенных условиях, в которых находится газ, долю тех молекул, которые будут двигаться с заданной скоростью, или долю тех из них, которые будут находиться в заданном объеме. Но, собственно, именно это и нужно знать физику, так как основные характеристики газа — давление, температура, вязкость и пр. — определяются не замысловатым поведением одной молекулы, а их совокупным действием. Так, давление газа равно суммарному воздействию молекул, ударившихся
о пластинку площади единица за единицу времени. Число ударов и скорости ударившихся молекул меняются в зависимости от случая, однако в силу закона больших чисел (в форме Чебышева) давление должно быть почти постоянным. Это ’’уравнивающее” влияние закона больших чисел в физических явлениях обнаруживается с исключительной точностью. Достаточно вспомнить, что, скажем, в обычных условиях даже очень точные измерения с трудом позволяют отметить уклонения от закона Паскаля о давлении жидкости. Противникам молекулярного строения материи это чрезмерно хорошее совпадение результатов теории с опытом даже служило своеобразным аргументом: если бы материя имела молекулярное строение, то наблюдались бы и уклонения от закона Паскаля. Эти уклонения, так называемые флюктуации давления, действительно удалось наблюдать, когда научились изолировать сравнительно небольшие количества молекул, в результате чего влияние отдельных молекул еще не полностью нивелировалось и оставалось еще достаточно сильным.
Закон больших чисел в форме Чебышева
Мы перейдем теперь к формулировке и доказательству теорем Чебышева, Маркова и др.; употребляемый при этом метод принадлежит Чебышеву.
Неравенство Чебышева. Длялюбой случайной величины S, имеющей конечную дисперсию, при каждом е > 0 имеет место неравенство
DS
Р{| S-MSI>e}<—.(1)
е
Доказател ь с т в о. Если Е(х) обозначает функцию распределения случайной величины S, то ясно, что
Р{Ц-М?|>е}= J dF^Y
Iх — М£ |> е
Так как в области интегрирования | х - MS |/е > 1, то
J dF(x)<4-/(x-MS)2dF(x).
I х - М Е | > е6 I X - М £ | > е
Мы только усилим это неравенство, распространяя интегрирование на все значения х
1, DS
f dF(x) < — Дх - MS)2 dF^ = — .
|х-МЕ1>еee2
Неравенство Чебышева доказано.
Теорема Чебышева. Если Si Дг, • ■ • Дм,-• - - последовательность попарно независимых случайных величин, имеющих конечные диспер-
сии, ограниченные одной и той же постояннойсии, ограниченные одной и той же постояннойD£i<C, D^2 <С,.. .,D^<C,...,D£i<C, D^2 <С,.. .,D^<C,...,то, каково бы ни было постоянное е > О,то, каково бы ни было постоянное е > О,lim Рп -* соlim Рп -* со1 Л1 Л2 ^к — 2 м&П к = 1 П к = 11 Л1 Л2 ^к — 2 м&П к = 1 П к = 1(2)(2)Доказательство. Мы знаем, что в условиях теоремыДоказательство. Мы знаем, что в условиях теоремы/ 1 Д D — S\ П к = \/ 1 Д D — S\ П к = \\ 1 ”^ ) = ~ ^ ^^/ П к = 1\ 1 ”^ ) = ~ ^ ^^/ П к = 1и, следовательно,и, следовательно,/ 1 ”\ СD I — S.\ п к = 1/ И/ 1 ”\ СD I — S.\ п к = 1/ ИСогласно неравенству ЧебышеваСогласно неравенству ЧебышеваРР1 л1 л— s ^ —— s м^ П к = 1П к = 11 л1 л— s ^ —— s м^ П к = 1П к = 11П к = 1е1П к = 1еСне2Сне2Переходя к пределу при п -*°°, получаем, чтоПереходя к пределу при п -*°°, получаем, чтоUm Р и -* ООUm Р и -* ОО1Л1 иП к = 1п к = 11Л1 иП к = 1п к = 1<е >1.<е >1.
сии, ограниченные одной и той же постоянной
сии, ограниченные одной и той же постоянной
D£i<C, D^2 <С,.. .,D^<C,...,
D£i<C, D^2 <С,.. .,D^<C,...,
то, каково бы ни было постоянное е > О,
то, каково бы ни было постоянное е > О,
lim Р
п -* со
lim Р
п -* со
1 Л1 Л
2 ^к — 2 м&
П к = 1 П к = 1
1 Л1 Л
2 ^к — 2 м&
П к = 1 П к = 1
(2)
(2)
Доказательство. Мы знаем, что в условиях теоремы
Доказательство. Мы знаем, что в условиях теоремы
/ 1 Д D — S
\ П к = \
/ 1 Д D — S
\ П к = \
\ 1 ”
^ ) = ~ ^ ^^
/ П к = 1
\ 1 ”
^ ) = ~ ^ ^^
/ П к = 1
и, следовательно,
и, следовательно,
/ 1 ”\ С
D I — S.
\ п к = 1/ И
/ 1 ”\ С
D I — S.
\ п к = 1/ И
Согласно неравенству Чебышева
Согласно неравенству Чебышева
Р
Р
1 л1 л
— s ^ —— s м^ П к = 1П к = 1
1 л1 л
— s ^ —— s м^ П к = 1П к = 1
1
П к = 1
е
1
П к = 1
е
Сне2
Сне2
Переходя к пределу при п -*°°, получаем, что
Переходя к пределу при п -*°°, получаем, что
Um Р и -* ОО
Um Р и -* ОО
1Л1 и
П к = 1п к = 1
1Л1 и
П к = 1п к = 1
<е >1.
<е >1.
А так как вероятность не может быть больше единицы, то отсюда и следует утверждение теоремы.
Мы отметим некоторые важные частные случаи теоремы Чебышева.
мрпмрп(3)(3)Теорема Бернулли. Пусть р - число наступлений события А в п независимых испытаниях и р есть вероятность наступления события А в каждом из испытаний. Тогда, каково бы ни было е > О,
м
р
п
м
р
п
(3)
(3)
lim Р л -* »
Доказательство. Действительно, введя случайные величины Рк, равные числу наступлений события А при к-м испытании, имеем:
М = Mi + Мг + • ■ ■ + Мл ■
А так как
Wk=P, Dpk=pq<l/4,
то теорема Бернулли является простейшим частным случаем теоремы Чебышева.
Так как на практике часто неизвестные вероятности приходится приближенно определять из опыта, то для проверки согласия теоремы Бернулли с опытом было проведено большое число опытов. При этом рассматривались события, вероятности которых можно считать по тем или иным соображениям известными, относительно которых легко проводить испытания и обеспечить независимость испытаний, а также постоянство вероятностей в каждом из испытаний. Все подробные опыты дали прекрасное совпадение с теорией. Мы приведем результаты нескольких таких легко воспроизводимых экспериментов.
В примере 5 § 3 мы рассмотрели результаты 100 разделений колоды карт на две равные части. Интересующее нас событие состояло в том, что в каждую полуколоду попадет одинаковое число красных и черных карт. В рассмотренном случае получилось довольно значительное окончательное (при и = 100) уклонение частоты от вероятности (приблизительно равное 0,02). По теореме Лапласа вероятность получить такое уклонение или еще большее равна
РРМ РпМ Рп>0,02>0,02Р - пр x/npqР - пр x/npq
Р
Р
М Р
п
М Р
п
>0,02
>0,02
Р - пр x/npq
Р - пр x/npq
= 1 - 2Ф 0,02 V = 1 - 2Ф(0,455) ~ 0,65.
\0,26-0,74/
Таким образом, если повторить указанный эксперимент большое число раз, то приблизительно в двух третях случаев получится уклонение, не меньшее, чем полученное в нашем опыте.
Французский естествоиспытатель XVIII века Бюффон бросил монету 4040 раз, герб выпал при этом 2048 раз. Частота появления герба в опыте Бюффона приближенно равна 0,507.
Английский статистик К. Пирсон бросил монету 12 000 раз и при этом наблюдал 6019 выпадений герба. Частота выпадения герба в этом опыте Пирсона равна 0,5016.
В другой раз он бросил монету 24000 раз, и герб при этом выпал 12 012 раз; частота выпадения герба при этом оказалась равной 0,5005. Во всех приведенных опытах частоты лишь немного уклонялись от вероятности — 0,5.
Теорема Пуассона. Если в последовательности независимых испытаний вероятность появления события А вк-м испытании равна рк, то
п ^ ~ \ пп
где, как обычно, через ц обозначено число появлений события А в первых п испытаниях
Введя в рассмотрение случайные величины рк, равные числу появлений события Л в к-м испытании, и заметив, что
Wk=Pk, OPk=Pkqk^X!*,
мы убеждаемся, что теорема Пуассона является частным случаем теоремы Чебышева.
Если последовательность попарно независимых случайных величин h.&v • ■ ,Ел, • такова, что
М?! =МЬ = ... = М^ = ...=д и
D^<C, D?2 <C,...,D^<C,...,
1 "2 ^k - аП к = 11 "2 ^k - аП к = 1то, каково бы ни было постоянное е > 0,
1 "
2 ^k - а
П к = 1
1 "
2 ^k - а
П к = 1
lim Р
л -> оо
Этот частный случай теоремы Чебышева дает основание правилу среднего арифметического, постоянно употребляющемуся в теории измерений. Предположим, что производится измерение некоторой физической величины а. Повторив измерения п раз в одинаковых условиях, наблюдатель получит не вполне совпадающие результаты Xi, х2, ..., хп. В качестве приближенного значения а принято брать среднее арифметическое из результатов наблюдений
X] + х2 + ...+ х„ а,
п
Если измерения лишены систематической ошибки, т.е. если
Mxi = Мх2 = . .. = Мх„ = а,
и если сами наблюденные значения не обладают неопределенностью, то согласно закону больших чисел при достаточно больших значениях п с вероятностью, сколь угодно близкой к единице, мы указанным путем можем получить значение, сколь угодно близкое к искомой величине а. Сказанное мы должны пояснить следующим; если измерительный прибор устроен так, что он не может давать точности отсчета большей, чем некоторая величина 6, например, из-за того, что ширина деления шкалы, по которой производится отсчет, равна 6, то, понятно, нельзя и рассчитывать получить точность измерения, большую, чем ± 5. Каждое измерение в этом случае
дает результат с неопределенностью 3; но ясно, что при этом и среднее арифметическое будет обладать той же неопределенностью, как и каждое измерение. Это замечание учит нас, что если приборы дают нам результаты измерений с некоторой неопределенностью 5, то стремиться посредством закона больших чисел получить значение а с большей степенью точности является заблуждением, а сами произведенные при этом вычисления превращаются в арифметическую забаву.
Мы ограничимся формулировкой теоремы Маркова; ее доказательство является очевидным следствием неравенства Чебышева.
Теорема Маркова. Если последовательность случайных величин £ i, £2,• • • , ^№ • • • такова, что при п-*°=
4"D(S У^О,(4)
П к =1
то, каково бы ни было положительное постоянное е,
fl” 1 Дlim Р; — S £к■ S M£fc
л оо ( п к = 1П к = 1
Если случайные величины ^, £2, • • •, £п,•-• попарно независимы, то условие Маркова принимает вид: при п -► =»
1 "
— 2 D^O.
П к = 1
Отсюда видно, что теорема Чебышева является частным случаем теоремы Маркова.
Необходимое и достаточное условие
для закона больших чисел
Мы уже указывали, что закон больших чисел является одним из основных предложений теории вероятностей. Отсюда становится понятным, почему так много усилий было положено на то, чтобы установить наиболее широкие условия, которым должны удовлетворять величины ^тЛг, • • • Лп> • • • * чтобы для них имел место закон больших чисел.
История вопроса такова. В конце XVII - начале XVIII века Яков Бернулли нашел предложение, получившее его имя. Теорема Бернулли была впервые опубликована в 1713 г., после смерти автора, в трактате ”Ars Conjectandi” (Искусство предположений). Затем в начале XIX века Пуассон доказал аналогичную теорему в более широких условиях. До середины XIX века не было достигнуто каких-либо новых успехов. В 1866 г. великий
русский математик П.Л. Чебышев нашел метод, изложенный нами в предыдущем параграфе. Позднее А.А. Марков заметил, что рассуждения Чебышева позволяют получить более общий результат (см. § 27) .
Дальнейшие усилия долго не приносили принципиальных успехов, и лишь в 1926 г. А.Н. Колмогоров получил условия, необходимые и достаточные для того, чтобы последовательность взаимно независимых случайных величин 5ы 5г>^п, ••• подчинялась закону больших чисел.
В 1923 г. А.Я. Хинчин показал, что если случайные величины 5л не только независимы, но и одинаково распределены, то существование математического ожидания М5„ является достаточным условием для применимости закона больших чисел.
В последние годы много работ было посвящено определению условий, которые следует наложить на зависимые величины, чтобы для них выполнялся закон больших чисел. Теорема Маркова принадлежит к предложениям этого рода.
Используя метод Чебышева, легко получить условие, аналогичное условию Маркова, но уже не только достаточное, но и необходимое для применимости закона больших чисел к последовательности произвольных случайных величин.
Теорема. Для того чтобы для последовательности
ё1> §2, 5з, - ■ •
(как угодно зависимых) случайных величин при любом положительном е выполнялось соотношение
fl" 1 и
Иш р — S 5„S М5^
л-* <”( П к = tП к = 1
необходимо и достаточно, чтобы при п-*°°
( £ (5*-М5О)2 к =1
М> 0.(2)
«2 + ( £ (5Л - M5fc))2 к = 1
Доказательство. Предположим сначала, что (2) выполнено, и покажем, что в этом случае выполнено также (1). Обозначим через Фп(х) функцию распределения величины
£ (5л -M5J.
П к = 1
Легко проверить следующую цепочку соотношений:
( 1 дР - S (^-м^) >( 1 дР - S (^-м^) >ее.2.2J аФп(х)<—-I > 6еJ аФп(х)<—-I > 6е2— dФn^x)2— dФn^x)
( 1 д
Р - S (^-м^) >
( 1 д
Р - S (^-м^) >
е
е
.2
.2
J аФп(х)<—-
I > 6е
J аФп(х)<—-
I > 6е
2
— dФn^x)
2
— dФn^x)
1 + е21 + е2.2.21 +Vn1 +VnМг1 +т?лМг1 +т?л11П к = ХП к = Х
1 + е2
1 + е2
.2
.2
1 +Vn
1 +Vn
Мг
1 +т?л
Мг
1 +т?л
1
1
П к = Х
П к = Х
1 + е2 т?2TdФn(x) = -т - М—п--е 1 + т?2
Это неравенство доказывает достаточность условия теоремы.
Покажем теперь, что условие (2) необходимо. Легко видеть, что х2
Р{|т?„|>е}= J dФn(x)> J -- dФn^x^ =
I х | > е] х I > е 1 +Х
X2х2
= /-Г^”^"^15"^фл(^)>
1 + Х2|х I < е 1 +х2
х2Т)2
>$~г^фп(х)-е2 =М—^г-е2.(3)
1+х21+т?2
Таким образом,
Р-гпп
0<М г <е2 + Р{|д„ |>е}.
1 +М»
Выбирая сначала е сколь угодно малым, а затем п достаточно большим, мы можем сделать правую часть последнего неравенства сколь угодно малой.
Отметим, что все теоремы, доказанные в предыдущем параграфе, легко вытекают из только что доказанного общего предложения. Действительно, так как при любом и и любых ^ имеет место неравенство
1 п1 2
2 & - м^
П к =1J
то в случае существования дисперсий отсюда вытекает неравенство
*) Последнее равенство мы пишем на основании форм\лы М/(0 =Jf(x)dFe(x)
(см. теорему 1 § 22).
Б.В. Гнеденко
Таким образом, если условие Маркова выполнено, то выполнено также условие (2) и, следовательно, последовательность fi, £г, •• ■, £л, • • • подчиняется закону больших чисел.
Все же мы должны заметить, что в более сложных случаях, когда у величин ^к не предполагается конечных дисперсий, доказанная теорема для фактической проверки применимости закона больших чисел весьма мало пригодна, так как условие (2) относится не к отдельным слагаемым, а к их суммам. Однако рассчитывать на то, что, не сделав никаких предложений о величинах ^ и о существующей между ними связи, удастся найти необходимые и достаточные условия, к тому же удобные для приложений, по-видимому, нельзя.
Если предположить, что величины ih, £2,?2, • • ■ взаимно независимы, то можно показать, что условие (2) эквивалентно следующему: при и ->■ 00
пX мк = 1пX мк = 1t2, *. ->о,t2, *. ->о,
п
X м
к = 1
п
X м
к = 1
t2
, *. ->о,
t2
, *. ->о,
где обозначено
?к = ^к — M^fc.
Практическое использование только что доказанных теорем встречает одно принципиальное затруднение: можем ли мы считать, что изучаемое нами явление или производственный процесс протекают под воздействием независимых причин? Не противоречит ли само понятие независимости нашим основным представлениям о взаимосвязи явлений внешнего мира? При математическом изучении тех или иных явлений природы, технических процессов или тех или иных общественных явлений мы прежде всего должны выводить наши основные предпосылки, опираясь на глубокое изучение существа самого явления, качественных его особенностей. Мы должны учитывать изменение внешних условий, в которых протекает изучаемое нами явление и изменять математический аппарат и предпосылки, лежащие в основе его применения, как только обнаружится, что условия осуществления явления изменились.
Отбрасывая несущественные связи между причинами, под влиянием которых развивается изучаемое явление, мы приходим к возможности в качестве рабочего аппарата пользоваться независимыми случайными величинами. Насколько удачно мы произвели схематизацию явления, насколько удачно выбран нами математический аппарат для его изучения, мы можем судить по согласию созданной нами теории с практикой. Если наши теоретические результаты существенно расходятся с опытом, то мы должны пересмотреть предпосылки, в частности, если идет речь о применимости закона больших чисел, то быть может придется отказаться от предположения о полной независимости действующих причин и перейти к предположению об их зависимости, быть может и слабой.
Мы уже говорили, что накопленный опыт использования теорем о законе больших чисел показывает, что условие независимости удовлетворительно во многих важных задачах естествознания и техники.
Усиленный закон больших чисел
Нередко из теоремы Бернулли делают совершенно необоснованный вывод, что частота события А при безграничном увеличении числа испытаний стремится к вероятности события Л. На самом же деле теорема Бернулли устанавливает только тот факт, что для достаточно большого числа испытаний и вероятность одного единственного неравенства:
< е< еЦ
< е
< е
р п
может быть сделана больше чем 1 — р при произвольном т?> 0. В 1909 г. французский математик Э. Борель обнаружил более глубокое предложение, согласно которому при любых е > 0 и р> 0 можно указать такое и0, что, каково бы ни было $, вероятность одновременного выполнения неравенств
< е< еИ р п
< е
< е
для всех п, удовлетворяющих неравенствам п0 < и < и0 + s больше чем 1 — р.
Эту теорему мы выведем из теоремы Колмогорова об усиленном законе больших чисел.
Неравенство Колмогорова. Если взаимно независимые случайные величины ^,^,...,^„ имеют конечные дисперсии, то вероятность совместного осуществления неравенств к
I S &-МЬ)Ке (£=1,2,...,и) 5=1
не меньше, чем
”
S D^k. е к =1
Доказательств о. Введем обозначения
T?fc=^-M^, Sk = ^рГ
Пусть, далее, Ек обозначает событие, состоящее в том, что
I S, | < е для j < к - 1 и | Sk | > е;
Ео означает событие, состоящее в том, что | S, | < е для j < п.
Так как событие, состоящее в том, что хотя бы при одном к (1 < к < и) будет выполнено неравенство
|^|>е(£=1,2,. ..,и)
(иными словами, что шах | 5^ | > е) равносильно событию S Ек, то 1 < к < п/с = 1
в силу несовместимости событий Ек
Р { шах | Sk | > е } = S ?№)• 1 < к < пк = 1
Согласно равенству ((5) § 23)
DS„ = £ ЧЕкУ^п\Е^> £ Р(£Л) М(52 |£Л). к=0к = 1
Очевидно, далее, что
M(S^ |£a = M(S2fc + 2 S 8кщ + S п2 + 2 S Л Л \Ек^> i> к ' i> к ' j> h >к '
>^S\*2 S Skn. + 2 S Tin \Eky j>к ' j>h>k ’
Так как осуществление события Ек налагает ограничение только на значения первых к из величин £,, а последующие остаются при этом условии независимыми друг от друга и от Sk, то
МЮ^. I Ек) = M(Sk | Е^ • МЦ. | Ек) = О
и
М(7?л?;| I £Л) = 0(h*), h>k, j>k>Vy
Кроме того, согласно (1) имеет место неравенство
M(S2|^)>e2(к>\\
Мы можем написать поэтому, что
DS^e2 £ P{£j.
к = 1
Отсюда
«1
S P{£j=P( щах \Sk |>е}<— D5„. к = 11 < к < п6
Неравенство Колмогорова доказано.
Мы скажем, что последовательность случайных величин
^1, ^2, ^3, • • •
подчиняется усиленному закону больших чисел, если, каковы бы ни были
е > 0 и р > О, можно указать такое и0, что для любого s и всех п, удовлет
воряющих неравенствам и0 < п < и0 + х, вероятность неравенства
1 "1 «
шах — S ^S М^ „„<«<„„+$ П к = 1П к = 1
больше, чем 1 — р.
Теорема Колмогорова. Если последовательность взаимно независимых случайных величин §i,§2, - - - удовлетворяет условию
£п = 1£п = 1
£
п = 1
£
п = 1
то она подчиняется усиленному закону больших чисел. Доказательство. Положим
"1
£п= £«—№£„, S„ = S £к, и„ = S,
к = 1П
Рассмотрим вероятность
Pm = Р{тах| ип \>е, 2т <п<2т+Ч.
Так как
Рт <Р{тах[и„ |>е,\<п<2т*^,
то согласно неравенству Колмогорова
Так как, далее,
Р { max | ип | > е для п > v} < S Рт, т = р
где р определяется из неравенств 2 р <у < 2 р н , то ясно, что
[ ОО1
Р (шах | и„ | > е для п > v} < — 2 —уу S D^
6 т = р 2.^ т + 1
После перемены порядка суммирования в правой части последнего неравенства получим:
ОО 1т^ р 22тОО 1т^ р 22тО£/= Е о^.-Ы,< 2т+1 = 1 ''
ОО 1
т^ р 22т
ОО 1
т^ р 22т
где сумма 2;- распространена на те значения т > р, для которых 2m +1 >/.
При / < 2 р+1 коэффициент при D£y равен 13
X =г ,
34т0 -134т0 -1т >р 4«4р-*
3
4т0 -1
3
4т0 -1
а при 2m,i+1> j > 2m<> > 2Р+1 этот коэффициент равен
3-163 • 16
22(т0 + 1)™2
Таким образом:
ОО 1 7 <3 р<г S 4р-! у=13 Р<Г 2 4р-‘ / = 1ОО 1 7 <3 р<г S 4р-! у=13 Р<Г 2 4р-‘ / = 12 D^z 2m + lD^y + 3-4D^y + 3-42 D^z 2m + lD^y + 3-4D^y + 3-4D^/72D^/72D^y7 2D^y7 2
ОО 1 7 <
3 р
<г S 4р-! у=1
3 Р
<Г 2 4р-‘ / = 1
ОО 1 7 <
3 р
<г S 4р-! у=1
3 Р
<Г 2 4р-‘ / = 1
2 D^z 2m + l
D^y + 3-4
D^y + 3-4
2 D^z 2m + l
D^y + 3-4
D^y + 3-4
D^/
72
D^/
72
D^y7 2
D^y7 2
В силу сходимости ряда 2 —— :
п
1°. Две последние суммы в написанном выше неравенстве могут быть сделаны сколь угодно малыми при р достаточно большом.
2°. Существует такая постоянная С, что Dgn < Сп2, откуда следует, что
3 р3 рD£y<D£y<З-Ср34Р^З-Ср34Р^
3 р
3 р
D£y<
D£y<
З-Ср34Р^
З-Ср34Р^
т.е. и первая сумма может быть сделана сколь угодно малой при достаточно большом р.
Из всего сказанного следует, что при и0 достаточно большом
Р{тах|ии|>е для n>v^
может быть сделана сколь угодно малой, что и требовалось доказать.
Следствие. Если дисперсии случайных величин £к ограничены одной и той же постоянной С, то последовательность взаимно независимых случайных величин £t, £2, ?з> • - • подчиняется усиленному закону больших чисел.
Один окончательный результат, относящийся к усиленному закону больших чисел, был получен также А.Н. Колмогоровым для случая одинаково распределенных независимых слагаемых.
Теорема. Существование математического ожидания является необходимым и достаточным условием для применимости усиленного закона больших чисел к последовательности одинаково распределенных и взаимно независимых случайных величин.
Эту теорему мы можем вывести из уже доказанной нами теоремы Колмогорова.
Действительно, из существования математического ожидания следует конечность интеграла J|x|dF(x), где F(x) — функция распределения случайных величин £п.
Поэтому
х p{id>«}= s s pu<i <i<*+1} =
п-1п = 1 к>п
= X JtPU<|$|<fc+l}< X /|х|^(х)<
л = 1k=Ofc<fx|<fc + l
(1)(1)<J|x|dF(x)<°°.
(1)
(1)
Введем в рассмотрение случайные величины
I £л К п, !?»!>«.I £л К п, !?»!>«.( и при ьп = I „
I £л К п, !?»!>«.
I £л К п, !?»!>«.
10 при
Тогда получим:
+ Лл
D^*<M^2 = J x2dF(x)< X (£+1)2Ра<| £!<£+1}
-пк = 0
И
X п = 1X п = 1Xп =Xп =Л (к + I)2к =0 Л2Л (к + I)2к =0 Л2PU<|£|<£+ 1}<PU<|£|<£+ 1}<
X п = 1
X п = 1
X
п =
X
п =
Л (к + I)2
к =0 Л2
Л (к + I)2
к =0 Л2
PU<|£|<£+ 1}<
PU<|£|<£+ 1}<
< X Р{£<|$|<£+1} (fc+1)2 X
к=0п>к П2
Так как
-1112
X —~ С —г + —< — , п > к п к к к
то в силу (1) находим, что
«о Df*
L — <=°, п = 1 П
т.е. £* удовлетворяют усиленному закону больших чисел. Далее
Р^п^^п при каком-либо «>;¥}< S Pt^^^J-
е
= 2 Р{| ?„!>»}<-(2)
п> N4 -
при N>N0(e\
Выберем vQ столь большим, чтобы при р>р0(е, р)
N„
No? ^к”^к)к = 1No? ^к”^к)к = 12 (^-мш
No
? ^к”^к)
к = 1
No
? ^к”^к)
к = 1
(3)(4)(3)(4)больших чисел, тобольших чисел, то(5)(5)к = 1
(3)
(4)
(3)
(4)
больших чисел, то
больших чисел, то
(5)
(5)
Наконец, так как £* удовлетворяет усиленному закону
при Р> ^1(6,7?),при Р> ^1(6,7?),Р max | и* | > — ; п > v < —
при Р> ^1(6,7?),
при Р> ^1(6,7?),
I3 J 4
1 п
где и* = - S (^-М^).
П к =1
Из (2), (3), (4) и (5) выводим
P{max | ип | > р; п > v } < е
при v > тах(р0, Г], ^o), т.е. и £„ удовлетворяют усиленному закону больших чисел.
Принципиальная роль усиленного закона больших чисел в теории вероятностей и в ее приложениях весьма велика. Действительно, предположим на минуту, что, скажем, в случае одинаково распределенных слагаемых, имеющих конечное математическое ожидание, усиленный закон не имеет места. Тогда с вероятностью, сколь угодно близкой к единице, можно утверждать, что будут повторяться моменты, когда средняя арифметическая результатов наблюдений будет далека от математического ожидания. И это бы случилось даже в тех случаях, когда наблюдения производятся без систематической ошибки и с полной определенностью (величина 8, о которой была речь в § 28, равна 0). Можно ли было бы в таких условиях считать, что среднее арифметическое из результатов наблюдений сближается с измеряемой величиной, могли ли бы мы в этих условиях считать, что среднее арифметическое можно считать за.приближенное значение измеряемой величины? Сомнительно.
§ 31. Теорема В.И. Гливенко
Мы перейдем теперь к доказательству теоремы Гливенко, которая вскоре после ее обнаружения получила в математической литературе название основной теоремы математической статистики. Речь идет об оценке неизвестной функции распределения случайной величины £ на основе результатов независимых испытаний. Пусть функция распределения случайной величины равна F(x) а результаты последовательных независимых испытаний в неизменных условиях будут
(1)(1)Xi, х2,...,хп
(1)
(1)
Последовательность результатов испытаний мы расположим в возрастающем порядке. Обозначив к-е по величине наблюденное значение через х^ мы можем последовательность (1) записать в следующем виде:
X* <Х2 ^
Эта последовательность, т.е. последовательность наблюденных значений исследуемой случайной величины, расположенных в возрастающем порядке, носит название вариационного ряда.
Эмпирической функцией распределения Fn(x) мы назовем функцию, определенную следующими равенствами:
0Fn(x)= /с/и.10Fn(x)= /с/и.1при при припри при прих<х!, Хк <'Х ^хкА-\' X V*
0
Fn(x)= /с/и
.1
0
Fn(x)= /с/и
.1
при при при
при при при
Ясно, что эмпирическая функция распределения монотонна, непрерывна слева и имеет точки разрыва только при значениях аргумента, равных членам вариационного ряда. Величины скачков в точках разрыва являются целыми кратными от 1/и. Для дальнейшего подчеркнемте обстоятельство, что при каждом значении х ордината F„(x) является случайной величиной, возможные значения которой будут 0, 1/и, .. ., (и - 1)/и, и/и = 1. Вероятность равенства Fn (х) = к/п, как легко видеть, равна
( к 1 к
Р|^„(х) = - ] = Сп (F(x^4t - F(xW* "к-
В простейшем частном случае, когда случайная величина £ может принимать лишь конечное число значений ах,а2, .. ., as членами вариационного ряда обязательно будут только числа этой последовательности. Согласно закону больших чисел, если тх, тг, . .., ms (тх + ш2 + . .. + ms = и) будут обозначать соответственно числа испытаний, при которых ^ = ах, £ = а2, .. ., £ = as, то при достаточно большом значении и частоты будут представлять приближенные значения неизвестных нам вероятностей
Pi = Р{| = axY р2 = Р{£ = а2},... ,ps = Р{£ = asY Более того, в нашем случае имеет место и усиленный закон больших чисел.
Прежде чем переходить к формулировке и доказательству теоремы, составляющей содержание настоящего параграфа, мы установим несколько вспомогательных предложений.
Рассмотрим некоторую последовательность случайных величин £ j, 1г»• • • > In > ■ • •
Событие, заключающееся в том, что эта последовательность сходится к некоторой случайной величине |, имеет в силу принятых нами аксиом, как мы увидим при доказательстве леммы 1, определенную вероятность.
Если эта вероятность равна единице, то мы скажем, что последовательность {£ „} сходится к | почти наверное).
В другой форме утверждение о сходимости почти наверное можно выразить так: последовательность случайных величин
11» 1г, • • •, In »•■ •
сходится почти наверное к случайной величине £, если с вероятностью единица для каждого целого положительного числа г найдется такое число п, что при всех к > 0 будут иметь место неравенства
I ^+t - 6 | < 1/г.
Очевидно, что равенство
Р{|„^|}=1(1)
мы можем записать и в иной форме:
P{^AU = 0.(2)
Это выражение означает, что вероятность того, что найдется такое число г, что при всех п и хотя бы при одном значении к имеет место неравенство
ll„+fc - ||>1/г,
равна нулю.
Лемма 1. Если при любом целом положительном г
2 Р{||„- II > 1/г}<+=,(3)
п = 1
то имеет место (1) или, что то же самое, (2).
Доказательство. Обозначим через Ег„ событие, состоящее в том, что выполняется неравенство
Un~U> МГ.
Положим, далее, s; = £ к;+к. к = 1
Из того, что
рда< £ к^+а= £ p{i^-?i>i/h, к=1!=п+1
мы в силу (3) выводим равенство
limP{S£}=0.(4)
Л-*оо
Пусть теперь
S^S^S^S^ . • .
Из того, что событие Sr влечет за собой любое из событий Srn, в силу (4) получаем:
P{Sr}=0.(5)
Положим, наконец,
5 = № + № + S3 + . . .
Как нетрудно установить, это событие означает, что найдется такое г, что для каждого п (п = 1, 2, 3, . . . ) хотя бы при одном к [^ = к(п)^ будут выполняться неравенства
|^„+fc - 11> 1/г.
Так как
P{S}< S Р{5Г}, г= 1
то в силу (5) Р{5}=0,
что и требовалось доказать.
Лемма 2 (теорема Бореля). Пусть ц — число наступлений события А при п независимых испытаниях, в каждом из которых событие А
может появиться с вероятностью р. Тогда при п-*°°
Заметим, что теорема Бореля является простейшим частным случаем теоремы А.Н. Колмогорова об усиленном законе больших чисел; здесь же дана только иная формулировка этого частного случая, отличная от общей формулировки теоремы § 30.
р\4
Доказательство. События —- р ->0 и ( — - р ) -*0, очевид- и\ п /
но, эквивалентны. Введем, как это мы уже неоднократно делали, вспомогательные величины Ц{, равные числу появлений события А при г-м испытании. Находим, что
(и \41 пппп
М1--р=— SSS 5 М(д,— p^Pj -р) (рк -p)(Pi -рУ
\п / П 1=1 / = 1 к=1 1= 1
Элементарный подсчет показывает, что
м( ~ -pV = -^- [и(р3 + д3) + Зр^(и2 - и)] <.
\ п / п
Согласно лемме Чебышева
( (Р \ 411/ рг
р ” -Р<гМ -р < — .
1\и/ г ) •\ п / 4п
Отсюда мы заключаем о сходимости ряда
Применение предыдущей леммы доказывает наше утверждение.
Лемма 3. Если событие Е эквивалентно совместному осуществлению бесконечного числа событий Ех,Ег,...
Е = ЕгЕг . . .
и каждое последующее событие En+V влечет за собой предыдущее Еп, то
?{£■}= lim ?{£-„}
Доказательство. Действительно, событие S't можно двумя следующими способами представить в виде суммы несовместимых событий:
Е\ = ЕхЁг *ЕгЕ3 + . .. *En_vEn + Еп
и
Ех = ЕХЁ2 + ЕгЕ3 + . . -*Еп_хЁп + ЕпЁп+х + . . ЛЕ.
Отсюда
Р^} = Р{£’1/1"2}+ Р{/1’2/1’з} + • ■ •+Р{£’„_1Ё„} + Р{ЕП}
и_ _
Р {EJ = Р^Е,} + Р{Е2Е3}+... + PU^jE^ +
+ Р{Е„Е„+]} + . .. + P{E}.
Сравнение последних двух равенств приводит нас к соотношению
Р {Е} = Р{Е„}- S Р{№+1}.
к=п
Так как вычитаемое в правой части есть остаток сходящегося ряда, то
Р{Е} = Нт Р{Е„}.
Лемма 4. Если каждое из событий конечной или бесконечной последовательности Ех, Ег, . . . , Еп, . . . имеет вероятность, равную единице, то вероятность их совместного осуществления также равна единице.
Доказательство. Рассмотрим сначала два события Ех иЕ. для которых
P{Ej = Р{Е2} = 1.
Так как
Р{ Е, + Е2} = P{Et} + Р{Е2}- PfE^J
и Р{Е] + Е2} = 1, то
PlEjEj = 1.
Отсюда заключаем по индукции, что для любых и событий, для которых
P{EJ = Р{Е2}= ... = Р{Е„} = 1, выполняется также равенство
Р(Е]Е2 ... Еп} =1-
Пусть теперь имеется бесконечная последовательность событий Ех, Ег,.
Еп,..., для которых
P{Ej = Р{Е2} = . . . = Р{Е„} = ... =1.
Так как очевидно, что
ЕхЕ2Ь3 ... - ЕХ(ЕХЕ2)(ЕХЕ2ЕЭ) . . .
и каждый последующий множитель в правой части равенства влечет за собой предыдущий, то согласно предыдущей лемме
РкЕхЕгЕ3 ...} = lim Pl#^ • - • Еп^ .
П-*«=
Это равенство доказывает лемму.
Теорема Г л. и в е н к о. Пусть F (х) — функция распределения случайной величины § uFn (х) - эмпирическая функция распределения результатов п независимых наблюдений над величиной £. Тогда при п-*°°
Р{ ^^пр | F„(x)— F(x) | -*0} = 1.
Доказательство. Обозначим через xrk наименьшеех, удовлетворяющее неравенствам
к
F(x - 0) = Fix') < - < F(x + 0) (к = 1,2,..., г).
г
Пусть А означает событие, состоящее в том, что £ < хг к . Ясно, что
Р{Л}= F(xrky
Так как частота появления события А равна Fn (х^Дто по теореме Бореля (лемма 2)
PtFn(xr,k) -> Г(хгЛ)}=1.(6)
Пусть теперь Егк есть событие, состоящее в том, что при п -*°°
Fn<xr^ -* F(xr,k) (^=1,2,..., г) и
Е’’ = ЕХЕ2... Е,.
Ясно, что событие Ег равносильно тому, что при и -*°°
max |F„(x, к) - F(xrfc)| -» 0.
Кк^г’
Так как согласно (6)
Р{Е[} = P{E2r) = ... = Р{Ер = 1,
то в силу леммы 4
р{дЧ = 1.
Пусть далее
Е= Е1Е2Е3 ...
207207Упражнения
207
207
Согласно лемме 4
?{£}= 1.
Обозначим, наконец, через S событие, состоящее в том, что при и ->°° sup | Fn (х) - F(x) |0.
Для любого х, заключенного между хгк и хГ)к1.\, выполняются неравенства
Fn(xrk +0)< F„(x)<F„(xr fc+1)
F(xrk+0) < F(x) <F(xrk+1),
причем
0< F(xr-k+1) -F(xrk + 0) < 1/r.
Отсюда мы заключаем, что
Fn(xrк + 0) - F^xrk+ г)<Е„(х)- F(x) <
^Fnlx,,^ - F(xr k * O'),
т.е. что
I F„(x) - F(x) | < max \ Fn(xr k) — F(xr k)\ + 1/r Kk«r
и что,следовательно, sup |F„(x) - F(x) | < max | Fn(xr k) - F(xr k) I + 1/r. — oo<X<ooKk<F
Поскольку г произвольно, то из последнего неравенства вытекает, что
Е CS. Этим, очевидно, доказано, что
Р{ sup |F„(x)-F(x)| -*0> = 1.
Упражнения
Доказать, что если случайная величина £ такова, что Меа^ существует (а > 0 - постоянная), то
г 1 Ме<гЕ
P{t>e}< — .
Пусть / (х) > 0 - неубывающая функция. Доказать, что если существует М/(| $ - М$|), то
Последовательность независимых и одинаково распределенных случайных величин {Е,} определена равенствами
а) р^п = 2к-1пк-2Ыпк^= ^ (£ = 1>2,3,...),
б) Р{Е»=Ч =б) Р{Е»=Ч =сV In2 ксV In2 к" I
б) Р{Е»=Ч =
б) Р{Е»=Ч =
с
V In2 к
с
V In2 к
к > 2, с"1 = 2 ,к=2 к7 In2 к
Доказать, что к указанным последовательностям закон больших чисел применим.
Доказать, что к последовательности независимых случайных величин (Ей } таких, что
Р{Е„ = «“} = ₽{?„ = “""}= V2,
закон больших чисел применим тогда и только тогда, когда а < 0,5.
Доказать, что если независимые случайные величины {Еп} таковы, что
max / I х I dF^x) 0, когда А -*
1<*<и 1х1>А
то к последовательности (Ей } применим закон больших чисел.
Используя результат предыдущей задачи, доказать, что если для последовательности независимых случайных величин {Еп} существуют такие числа а > 1 и Д что М | Е I < Д то к последовательности {Е^} применим закон больших чисел (теоремы Маркова).
Дана последовательность случайных величин { £ ^ } , для которых DEn < С, Rij -*■ 0 при I i - j | -► = (.R^ - коэффициент корреляции между Е; и Е/)- Доказать, что к данной последовательности применим закон больших чисел (теорема С.Н. Бернштейна) .
ГЛАВА 7
ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Мы видели в предыдущих главах, что в теории вероятностей широко используются методы и аналитический аппарат различных отделов математического анализа. Простое решение весьма многих задач теории вероятностей, особенно тех из них, которые связаны с суммированием независимых случайных величин, удается получить с помощью характеристических функций, теория которых развита в анализе и известна под именем преобразований Фурье. Настоящая глава посвящена изложению основных свойств характеристических функций.
Определение и простейшие свойства
характеристических функций
Характеристической функцией случайной величины £ называется математическое ожидание случайной величины е'^ ). Если F^ есть функция распределения величины £ то характеристическая функция равна по теореме 1 §22
№ = $eitxdF^.(1)
Мы условимся обозначать в дальнейшем характеристическую функцию и соответствующую ей функцию распределения одними и теми же буквами, но только соответственно малой и большой.
Из того, что | е'fx| = 1 при всех вещественных 7, следует существование интеграла (1) для всех функций распределения; следовательно, характеристическая функция может быть определена для каждой случайной величины
Теорема 1. Характеристическая функция равномерно непрерывна на всей прямой и удовлетворяет следующим соотношениям-.
Я0)=1, 1Я0К1 (~о=<7<=).(2)
Доказательство. Соотношения (2) немедленно вытекают из определения характеристической функции. Действительно, по (1)
/(0) = /1 -dF^ = 1
и
1/(0 I / ettxdF^ | </| eitx\dF^ = fdF(x) = 1.
Нам остается доказать равномерную непрерывность функции /(f). С этой целью рассмотрим разность
/(Г + й) -/(0 = fe*tx (elxh - О dF{x)
и оценим ее по модулю. Имеем:
] /(? + й) - ДО К Л eixh - 11 dF(x\
Пусть е > 0 произвольно; выберем столь большое А, чтобы
е
/ dF(x)< - ,
И>л4
и подберем столь малое И, чтобы для | х | < А
\^xh -1|<е/2.
Тогда
|/(г + й)-/(01< / |ег^л1|^(х) + 2 / dF(x^e.
-А1*1>Л
Это неравенство доказывает теорему.
Теорема 2. Если я = а^ + Ь, где аи b — постоянные, то
№ = fe(atVbt,
где/„(0 и Ж0 означают характеристические функции величин -qu £.
Доказательство. Действительно,
ЖО = М^^М^8™ = eitbWitat = eitb f^af).
Теорема 3. Характеристическая функция суммы двух независимых случайных величин равна произведению их характеристических функций.
Доказательство. Пусть £ и q — независимые случайные величины и f = £ + д. Тогда очевидно, что вместе с £ и 17 независимы также случайные величины elt* и ^1Т1. Отсюда вытекает, что
М elt^ = Me'f^+T’'* = М (e'fЛ<гч) = Ме'^Ме'*7’.
Это доказывает теорему.
Следствие. Если
£ = £1 *^2 + • ■ - * ^п, причем каждое слагаемое независимо от суммы предыдущих, то характеристическая функция величины ^ равна произведению характеристических функций слагаемых.
Применение характеристических функций в значительной степени опирается на свойство, сформулированное в теореме 3. Сложение независимых случайных величин, как мы видели в § 21, приводит к весьма сложной операции - композиции функций распределения слагаемых. Для характеристических функций эта сложная операция заменяется весьма простой — простым умножением характеристических функций.
Теорема 4. Если случайная величина £ имеет абсолютный момент п-го порядка, то характеристическая функция величины £ дифференцируема п раз и при к<п
^кХо) = {кМ$к.(3)
Доказательство. Действительно, Л-кратное (к <и) формальное дифференцирование характеристической функции приводит к равенству
f<-k40 = ik $xk^txdF^xE(4)
Но
| $xkeitxdF^ | < /1 х | * dF^
и, следовательно, в силу предположения теоремы ограничен. Отсюда следуют существование интеграла (4) и законность дифференцирования. Положив в (4) t = 0, находим, что
y(fc)(0) = ik Jxk dF^.
Математическое ожидание и дисперсия весьма просто выражаются при помощи производных от логарифма характеристической функции. В самом деле, положим
^(Г) = In/(Г).
Тогда
и
ФХП =ФХП =гхп -ao-i/w
ФХП =
ФХП =
У2 (О
Приняв во внимание, что / (0) = 1 и равенство (3), находим, что
Ф'(0) =/'(0) = /MS
Г(0)=Л0)- [/W ='W - [zM g]2 =-Dt
Отсюда
(5)(5)MS = - ф’(0) i
(5)
(5)
DS =-Г(0).
Производная ^-го порядка логарифма характеристической функции в точке 0, умноженная на ik, называется семиинвариантом к-го порядка случайной величины.
Как это непосредственно следует из теоремы 3, при сложении независимых случайных величин их семиинварианты складываются.
Мы только что видели, что первыми двумя семиинвариантами являются математическое ожидание и дисперсия, т.е. момент первого порядка и некоторая рациональная функция моментов первого и второго порядков. Путем вычислений легко убедиться, что семиинвариант любого порядка к есть (целая) рациональная функция первых к моментов. Для примера приведем явные выражения семиинвариантов третьего и четвертого порядков:
^ф”’^^- {MS3 -3MS2 MS + 2[MS]3},
iV(0) = MS4 -4MS3MS 3 [MS2]2 + 12MS2[MS]2 -6[MS]4.
Рассмотрим теперь несколько примеров характеристических функций.
Пример 1. Случайная величина S распределена по нормальному закону с математическим ожиданием а и дисперсией о2. Характеристическая функция величины S равна
(х-а)2
1ИХ - —
Л) = -— / е 2 ° dx.
о V 2тт
Подстановкой
х - а
z = - Но
о
ф(7) приводится к виду
1°° —/Го
^ = eiat - о1 Р ,2 j e-z^2dz,
Известно, что при любом вещественном а
J с dz = V 2тт,
следовательно,
^(0 = е^-аЧД2
Пользуясь теоремой 4, мы можем без труда вычислить центральные моменты для нормального распределения и тем самым другим путем получить результат примера, рассмотренного в § 26.
Пример 2. Найти характеристическую функцию случайной величины £, распределенной по закону Пуассона.
Согласно предположению величина £ принимает только целочисленные значения, причем
>кех
Р^ = к) =——(fc = 0,l,2,...),
где Л > 0 — постоянная.
Характеристическая функция величины £ равна
КО = М^ = f е1к,РЦ = к} = £ ei,k— е~х = к-0к = 0к'.
. “ (Хе‘ОкX Ч it it , X
= е"х 5 — = е"х+Хе = ех<е 'Ч
к = 0к'.
Согласно (5) отсюда находим, что
М? = — ф'(0) = Л; О^ = -ф"(0)=Л. i
Эти равенства были нами ранее (§ 23, пример 3) получены непосредственно. ПримерЗ. Случайная величина £ равномерно распределена в интервале (-а, а). Характеристическая функция равна
КО = / eitx -а Пример 4.КО = / eitx -а Пример 4.dx sin at
КО = / eitx -а Пример 4.
КО = / eitx -а Пример 4.
Та at
Найти характеристическую функцию величины д, равной
числу появлений события А в п независимых испытаниях, в каждом из которых вероятность появления события А равна р.
Величина р может быть представлена как сумма
М = Mi +Мг + • ■ • + МП
п независимых величин, каждая из которых принимает лишь два значения О и 1, соответственно с вероятностями q = 1 — р и р. Величина цк принимает значение 1, если событие А происходит в к-м испытании, и значение 0, если событие А в fc-м испытании не происходит.
Характеристическая функция величины цк равна
Д(т) = Ме'Я = e,r-oq+e'f' vp = q+pe‘*.
Согласно теореме 3 характеристическая функция величины ц равна п
КО = П Mt) = (q+p^T.
к= 1
Найдем еще характеристическую функцию величины q =. По тео-
Vnpq ■
реме 2 она равна•
Ш= e q Д_1_\=еп q {q+pe^¥)n = w npq /
= (qe= (qenqnq+ pe np Y+ pe np Y
= (qe
= (qe
nq
nq
+ pe np Y
+ pe np Y
Пример 5. Характеристические функции удовлетворяют равенству
7 (-0 = 7(г).
Действительно,
Я-0 = fe-itxdFM = feitxdF(x) = Ж
Формула обращения и теорема единственности
Мы видели, что по функции распределения величины £ всегда можно найти ее характеристическую функцию; для нас важно, что имеет место также обратное предложение: по характеристической функции функция распределения определяется однозначно.
Теорема 1. Пусть /(t) и F(x) — характеристическая функция и функция распределения случайной величины £. Если хт и х2 — точки непрерывности функции F(x), то
FOM-FOM =4- Ит2тг сFOM-FOM =4- Ит2тг сс р-ИХх _ »-itx2J:-сItс р-ИХх _ »-itx2J:-сItf^dt.f^dt.(1)(1)
FOM-FOM =4- Ит2тг с
FOM-FOM =4- Ит2тг с
с р-ИХх _ »-itx2
J:
-сIt
с р-ИХх _ »-itx2
J:
-сIt
f^dt.
f^dt.
(1)
(1)
Доказательство. Из определения характеристической функции следует, что интеграл
с e-itX; _ e-itx2
J С = / KOdt
2тт -с и
равен
J„ = — / J— ^г~^ ) - е^-х, ) ] dF^ dt
2tt -С it
В последнем интеграле можно изменить порядок интегрирования, так как по z интеграл абсолютно сходится, а по г пределы интегрирования конечны. Таким образом,
12л12л11ititооeit(z-x, ) _ e-it(z-x, ) _ eit(z-x2 ) + e-it<z-x2 )eit(z-x, ) _ e-it(z-x, ) _ eit(z-x2 ) + e-it<z-x2 )c Г sinf(z —xt)0 I tc Г sinf(z —xt)0 I tititdt dF(z) =dt dF(z) =sin t(z -x2)tsin t(z -x2)tdtdF(z).dtdF(z).
1
2л
1
2л
1
1
it
it
о
о
eit(z-x, ) _ e-it(z-x, ) _ eit(z-x2 ) + e-it<z-x2 )
eit(z-x, ) _ e-it(z-x, ) _ eit(z-x2 ) + e-it<z-x2 )
c Г sinf(z —xt)
0 I t
c Г sinf(z —xt)
0 I t
it
it
dt dF(z) =
dt dF(z) =
sin t(z -x2)t
sin t(z -x2)t
dtdF(z).
dtdF(z).
Из анализа известно, что при с
1 с sin at- J dt it о t1 с sin at- J dt it о t1/2,1/2,-1/2,-1/2,(2)(2)
1 с sin at
- J dt it о t
1 с sin at
- J dt it о t
1/2,
1/2,
-1/2,
-1/2,
(2)
(2)
и эта сходимость равномерна относительно а в каждой области а > 8 > О (соответственно а < -8), и при | а | <8, при всех с
| 1 с sin at i
(3)(3)> X}, и представим интеграл Jc в> X}, и представим интеграл Jc в/ —- dt <1.
(3)
(3)
> X}, и представим интеграл Jc в
> X}, и представим интеграл Jc в
1 it о t '
х2 — Ь х, +6 х2 -6 Jc = /■+/.+ /— е® X, —5 X, +6х2 — Ь х, +6 х2 -6 Jc = /■+/.+ /— е® X, —5 X, +6Положим для определенности, что Xi виде следующей суммы:
х2 — Ь х, +6 х2 -6 Jc = /■+/.+ /
— е® X, —5 X, +6
х2 — Ь х, +6 х2 -6 Jc = /■+/.+ /
— е® X, —5 X, +6
хг +600
+ J + J ф(с, г;хь х2) dF{z), хг — 5х2 +6
где для краткости обозначено
1 с [ sin t(z - %j) sin r(z - x2) ]
ф(с, z; xb x2) = — J - } dt
7Г о ( tt)
и 5 > 0 подобрано так, что хх + 8 < х2 — 8.
В области —°° < z < xt - 8 имеют место неравенства z - Xi < —8 и z — х2 < —8. Поэтому мы на основании (2) заключаем, что при с -*со
-5
f ф(с, z; x^.x^dF^ -* 0.
Аналогично при x2+8<z<+°° и при с 00
j ф(с, z; хь х2) dF^ -* 0.
хг +6
Далее, так как в области Xj + 8 < z < х2 -8 имеют место неравенства z — xt >3 и z — х2 < 8, то согласно (2) при с -*°°
х2—5х2-6
J ф(с, z; xlt х2) dF(z) -^ J dF(z) = F(x2 - 8) - F(xx + 8).
x,+5xj +6
Наконец, в силу (3) мы можем воспользоваться оценками
х: +6хj +8
I /1^(с, г; Х,,х2)^(г)|<2 / dF(z) = 2[F(xt + 8) - F(xx - 8)]
х, -6X, -8
И
х2+6х2+6
I / ф(с, z; хь x2)dF(z) | <2 J dF(z) = 2[F(x2 + 8) - F(x2 - 8)]. х2 —8х2 -8
Таким образом, находим, что при любом 8 > 0
lim Jc = F(x2 -6)-F(xt +6) -vR^Xx, x2) и
lim Jc=F(x2 -Fj-Ffxx + 8) +/?2(3, xb x2),
где
|/?/(8,x1,x2)|<2{F(xI +8) -F(xx -3)+^(x2 +8)-F(x2 -8)}
G= 1,2).
Пусть теперь 8^0. При этом из того, что Xi и х2 являются точками непрерывности функции F(x), следуют равенства
lim F(xv + 8) = lim F(xx - 8) =F(x1)
8^0г-»о
и
lim F(x2 +8) = lim F(x2 -8)' = F(x2).
6^08^0
А так как Jc не зависит от 8, то
lim Jc = F(x2) - F(xl).
Равенство (1) носит название формулы обращения. Мы используем эту формулу для вывода следующего важного предложения (теорема единственности).
Теорема 2. Функция распределения однозначно определяется своей характеристической функцией.
Доказательство. Действительно из теоремы 1 непосредственно следует, что в каждой точке непрерывности функции F(x) применима формула
+с e-ity - e-itx
F(x) = — limlim J ; f(t) dt,
2ТГ yA™«> Q—rm —Cit
где предел по у берется по множеству точек у, являющихся точками непрерывности функции Fix).
В качестве приложения последней теоремы мы докажем следующие предложения.
Пример 1. Если независимые случайные величины £ j и £ 2 распределены нормально, то их сумма £ = £ i + £2 также распределена нормально.
Действительно, если
М ^i ~ а^, D^ = о2; М £2 = а2, D£2 = cz2,
то характеристические функции величин ^ и £2 равны
ia, Г — — а2 t1ia2t— — а2 г2
/1 (0 = е 2А(0 = е 2
По теореме 3 § 32 характеристическая функция f (г) суммы равна
it(at +а2 ) - - (а2 + 'а2 )Г2
№ = /1(0 • Ш = е2
Это - характеристическая функция нормального закона с математическим ожиданием а = ах + а2 и дисперсией о2 = а2 * а2 . На основании теоремы единственности заключаем, что функция распределения величины ^ нормальна.
Пример 2. Независимые случайные величины f i и £2 распределены по закону Пуассона, причем
Докажем, что случайная величина 5 = li + |2 распределена по закону Пуассона с параметром X = Xt + Х2.
Действительно, в примере 2 предыдущего параграфа мы нашли, что характеристические функции случайных величин ^ и?2 равны
Л(0 = eXi(^-D, м) = ^(Л-D.
В силу теоремы 3 предыдущего параграфа характеристическая функция суммы £ =11+12 равна
ЯО =/1(0 -ЖО =
т.е. является характеристической функцией некоторого закона Пуассона. Согласно теореме единственности единственное распределение, имеющее /(f) своей характеристической функцией, есть закон Пуассона, для которой
(X, +X2)fc е-(х>+х^
Р U = *} =-~~ (к > 0).
к'.
Д.А. Райков доказал обратное более глубокое предложение: если сумма двух независимых случайных величин распределена по закону Пуассона, то каждое слагаемое также распределено по закону Пуассона.
Пример 3. Характеристическая функция вещественна тогда и только тогда, когда соответствующая ей функция распределения симметрична, т.е. когда при любых х функция распределения удовлетворяет равенству
F^ = 1 _F(-x + 0).
Если функция распределения симметрична, то ее характеристическая функция вещественна. Это доказывается несложным подсчетом:
/(0 = $ettxdF<x) =
= / e~itx dF (-х + 0) + J eitx dF^ - F(+0) - F(-0) = о0
= f (e'itx + eitx')dF^x') - F(+0) - F(-0) = 0
= 2 / cos tx dF(x) - F(+0) - F(—0) = / cos tx dF(x).
(Напомним здесь, что мы условились включать нижний предел в интервал интегрирования и не включать верхний).
Для доказательства обратного предложения рассмотрим случайную величину т? = —£. Функция распределения величины т? равна
G(x) = Р{т?<х}=Р{$>-х}=1 — F(—х + 0).
Характеристические функции величин £ и т? связаны соотношением
g(f) = М eltT' = М e~'rt = М elt^ = /(т).
Так как по условию Дг) вещественна, то /(г)=/(г) и, значит, g^ = /(f).
Из теоремы единственности мы теперь заключаем, что функции распределения величин £ и т? совпадают, т.е. что
F(x) = 1 - F(-x + 0), что и требовалось доказать.
§ 34. Теоремы Хелли
В дальнейшем нам потребуются две теоремы чисто аналитического характера — первая и вторая теоремы Хелли.
Условимся говорить, что последовательность неубывающих функций
Л(х), F2(x), . . ., Fn<x\ . . .
сходится в основном к неубывающей функции F^x), если при п -к» она сходится к этой последней в каждой ее точке непрерывности.
Впоследствии мы всегда будем считать, что функции Fn (х) удовлетворяют условию
^(-°°) =0,
и не станем далее оговаривать этого.
Отметим сразу же, что для сходимости в основном достаточно, чтобы последовательность функций сходилась к функции F (х) на каком-нибудь всюду плотном множестве D. Действительно, пусть х — любая точка и х' и х" - какие-нибудь две точки множества D, такие, что х' <х < х" . При этом также
F„(x')<F„(x)<F„(x").
Следовательно,
Um F„(x')< lim F„(x) < Um F„(x)< Um F„(x").
n-*<*n-*®°n-*°°n-*°°
А так как по предположению
lim F„(x') = Fix'1) и lim Fn(x") = Fix"), П-ю=Ц-*”
TO И
Fix’) < lim F„(x)< lim Fn(x) < F(x").
Но средние члены в этих неравенствах не зависят от х* и х", поэтому
Fix — 0) < lim F„(x) < lim Fnlx) < F(x + 0). n^«,n^ =
Если функция F (x) в точке x непрерывна, то Fix - 0) = F(x) = Fix + 0).
Следовательно, в точках непрерывности функции F (х)
lim F„(x) = F(x).
Первая теорема Хелли. Всякая последовательность ограниченных в совокупности неубывающих функций
F.(x), F2(x), . . . , Fn(x),...(1)
содержит по крайней мере одну подпоследовательность
F„,lx), F^lxY . . . , F„fe(x),..., сходящуюся в основном к некоторой неубывающей функции F (х).
Доказательство. Пусть D — какое-нибудь счетное всюду плотное множество точек х\ ,х2х'п, ... Возьмем значения функций последовательности (1) в точке х,
Filxi), F^x/), ..., Fnlx(), ...
Так как множество этих значений, по предположению, ограничено, то оно содержит по меньшей мере одну последовательность
Л i(xi), F^lx/), ..., Fln(x/), .. . ,(2)
сходящуюся к некоторому предельному значению, которое мы обозначим через G(x[). Рассмотрим теперь множество чисел
F11 (х2), Ft 2(х2),...., F, „(х2), ...
Так как и это множество ограничено, то существует в нем последовательность, сходящаяся к некоторому предельному значению С(х2). Таким образом, из последовательности (2) мы можем выделить подпосле-
довательность
^2 1(Х), Л22(х), • • • , Р1п^, . ..,(3)
для которой одновременно lim FinCxy^ С(х/)и lim Fint^i) = G(x2'y
И-***п-*60
Продолжим такое выделение подпоследовательностей
Fki(x), Рк2(х\ ... , Fkn(x\ ... ,(4)
для которых одновременно имели бы место равенства lim ^tnC^) =
М-ч. оо
= G(x^) при всех г <&. Составим теперь диагональную последовательность
Рц(хур22<х\ . . . , Рпп(х), . . .(5)
Вся она в конечном счете выделена из последовательности (1), поэтому для нее lim ^nn^'i) = Glx^- Далее, так как вся диагональная последова- и -ч- оо
тельность, за исключением лишь первого члена, выделена из последовательности (2), то lim Fnn (х2 ) = G (х2). Вообще вся диагональная последова-
тельнось, за исключением первых ее к — 1 членов, выделена из последовательности (4) ; поэтому для нее также lim Fnn (хк) = G (хк) при каж- л ”
дом к. Полученный результат можно сформулировать так: последовательность (1) содержит по крайней мере одну подпоследовательность, которая во всех точках хк множества/) сходится к некоторой функции G (х), определенной на множестве D. При этом, так как функции Рпп (х) не убывают и равномерно ограничены, то, очевидно, и функция G (х) будет неубывающей и ограниченной.
Теперь ясно, что функцию G (х) , определенную на множестве D, можно продолжить так, что она будет определена на всей прямой —°° < х < °°, оставаясь неубывающей и ограниченной.
Последовательность (5) сходится к этой функции на всюду плотном множестве Л; следовательно, она сходится к ней в основном, что и требовалось доказать. Заметим, что функция, полученная продолжением функции G, может оказаться не непрерывной слева. Но мы можем изменить ее значения в точках разрыва так, чтобы восстановить этой свойство. Подпоследовательность Рпп будет сходиться в основном и к таким образом ’’поправленной” функции.
Вторая теорема Хелли. Пусть f^x) - непрерывная функция и пусть последовательность неубывающих, ограниченных в совокупности функций
Fi(x), Г2^, . . . , Рп(х\...
сходится в основном к функции F (х). на некотором конечном интервале
а <х <&, где а и b - точки непрерывности функции F(x); тогда
66
lim J f(x)dFn(x) = J f(x)dF(xy n-*°° aa
Доказательство. Из непрерывности функции f (х) вытекает, что как бы мало ни было положительное постоянное е, найдется подразделение интервала а < х < b точками х» = а, хх, ..., xN = 6 на частичные интервалы хк < х < х^+1 такое, что в каждом интервале (хк, хк+1) будет выполняться неравенство |/(х) - У(хкУ < е. Пользуясь этим обстоятельством, мы можем ввести вспомогательную функцию fe (х), принимающую только конечное число значений, определив ее посредством равенств
Л(х) = Ах к) ПРИ xk<x<xk+v
Очевидно, что для всех х в интервале а <х <6 выполняется неравенство \f^-fe^\< е.
При этом мы можем заранее выбрать точки деления хь Х2, . . . , xN_x так, чтобы они были точками непрерывности функции F ^хУ В силу сходимости функций Fx (х), F2(x), F3(x), . . . к функции ^(х), при достаточно больших п во всех точках деления будут выполняться неравенства
е
(6)(6)I F(xk^ — Fn (хк) | <,
(6)
(6)
MN
где М — максимум модуля /(х) в интервале а < х < Ь. Без объяснений ясно, что
Jf(x)dF(x) - Jf^dF^x) ааJf(x)dF(x) - Jf^dF^x) аа}f(x)dF(x)- ffe(x)dF(x) аа}f(x)dF(x)- ffe(x)dF(x) аа
Jf(x)dF(x) - Jf^dF^x) аа
Jf(x)dF(x) - Jf^dF^x) аа
}f(x)dF(x)- ffe(x)dF(x) аа
}f(x)dF(x)- ffe(x)dF(x) аа
bJ fc(x)dFn(x)- аbJ fc(x)dFn(x)- а
b
J fc(x)dFn(x)- а
b
J fc(x)dFn(x)- а
Me (x)dF{x) - Jfc(x)dF„(x) аа
- //(х№(х) . а
Нетрудно подсчитать, что первое слагаемое правой части не превосходит e[F(Z>) - ^(а)], а третье не превосходит e[F„(Z>) — F„(a)]. Что же ка-
сается второго слагаемого, то оно равно
^ * f(xk^F(xk)-Fn(xk)l к = О^ * f(xk^F(xk)-Fn(xk)l к = О/(xfc)[F(xk+1)-F(xk)l - Vf^Wn^Wktt к = Ок = О
^ * f(xk^F(xk)-Fn(xk)l к = О
^ * f(xk^F(xk)-Fn(xk)l к = О
2 7(xJ[.F(xk+1)-F„(xk + 1)] к = 1
и, следовательно, при достаточно больших и не превосходит 2е, как это вытекает из неравенства (6). В силу ограниченности функций F^x^ в совокупности, сумма
e[F(d) -^(а)] + e[F„(6)-F„(a)J +2е
может быть сделана сколь угодно малой вместе с е.
Обобщенная вторая теорема Хелли. Если функция /(х) непрерывна и ограничена на всей прямой - °° < х < °°, последовательность ограниченных в совокупности неубывающих функций
Ft(x),F2(x),...,F„(x),...
сходится в основном к функции F (х) и
Нт F„(—°°) = FQ— °°), Um F„( + °°) = F(+°°), и -> ооп •"* 06
ТО
lim J/(x)dF„(x) = J/(x)dF(x).
И -> оо
Доказательство. Пусть А < 0 и В > 0; положим
71 =
2 fWF^ - _/ f(x)dFn(x) вв
72 =
J /(x)dF(x) - J f(x)dF„(x) ,
АА
J f(x)dF(x) - J/(x)dF„(x) вв
Очевидно, что
\Jf^x)dF(x) - J/(x)<ZFn(x)| < Jt + J2 W3.
Величины Jv и J3 можно сделать сколь угодно малыми, если выбрать А и В достаточно большими по абсолютной величине и притом такими, чтобы точки А и В были точками непрерывности функции F(x), an выбрать достаточно большим. В самом деле, пусть М — верхняя грань
|/(х)| при —00 < х < °°; тогда
Л <m[f(A)+f„(A)],
Л < ^[^(+ °°) - mi *мш+ ») - Рпф^.
Но
lim F(A) = 0, lim F(B) = F(+ °°).
у| —> ООВ —> °о
А так как, по предположению,
Нт Рпф) = F(A), lim Рпф) = F(B), п -> 00л -* 00
то наше утверждение об J х и J3 доказано. Величина J2 при достаточно большом и может быть сделана сколь угодно малой в силу теоремы Хелли для конечного интервала.
Теорема доказана.
Предельные теоремы для характеристических функций
Важнейшими с точки зрения приложений характеристических функций к выводу асимптотических формул теории вероятностей являются две предельные теоремы - прямая и обратная. Эти теоремы устанавливают, что соответствие, существующее между функциями распределения и характеристическими функциями, не только взаимно однозначно, но и непрерывно.
Прямая предельная теорема. Если последовательность функций распределения
Fx(x),F2(x), . . . ,F„(x),. ..
сходится в основном к функции распределения F(x), то последовательность характеристических функций
МП, Mt),..., Mt),...
сходится к характеристической функции f(t)- Эта сходимость равномерна в каждом конечном интервале t.
Доказательство. Так как
fnit) = JeitxdFn(x\ f(t) = JeitxdF(x)
и функция епх непрерывна и ограничена на всей прямой - оо < г < оо, то согласно обобщенной второй теореме Хелли при л -> °°
Ш М).
Утверждение, что эта сходимость равномерна в каждом конечном интервале t, проверяется буквально теми же рассуждениями, какие мы провели при доказательстве второй теоремы Хелли.
Обратная предельная теорема. Если последовательность характеристических функций
(i)
сходится к непрерывной функции f(t), то последовательность функций распределения
Fx{x), F2(x),...,F„(x),...(2)
сходится в основном к некоторой функции распределения F(x) (в силу прямой предельной теоремы f^ = Je‘txdF(x)).
Доказательство. На основании первой теоремы Хелли заключаем, что последовательность (2) непременно содержит подпоследовательность
Рп^х\РП1(х\...,РПк<х\...,(3)
сходящуюся в основном к некоторой неубывающей функции F(x). При этом понятно, что функцию F(х) мы можем считать непрерывной слева:
Um F(x') = F(x).
х' -* х - О
Вообще говоря, функция F (х) может и не быть функцией распределения, так как для этого должны удовлетворяться еще условия F(—°о) = 0 и F (^ °0) = 1. Действительно, для последовательности функций
0
при X
ч -П,
F„(x) =
1/2
при
-п <
< X < п
. 1
при
X "
> п.
предельная функция F(x) s 1/2 и, следовательно, F (- °°) иР(+°°) также равны 1/2. Однако в условиях нашей теоремы, как будет сейчас показано, обязательно будет Р(— °°) = 0 и Р(+ °°) = 1.
В самом деле, если бы это было не так, то, приняв во внимание, что для предельной функции F (х) должно быть F {— оо) > 0 и F(+°°) < 1, мы имели бы:
6 = F(+°°) - F(-«)< 1.
Возьмем теперь какое-нибудь положительное число е, меньшее 1 —5. Так как по условию теоремы последовательность характеристических функций (1) сходится к функции/0), то /(0) = 1. А так как, сверх того, функция /(г) непрерывна, то можно выбрать достаточно малое положи -
8. Б.В. Гнеденко
тельное число т такое, что будет иметь место неравенство
12т12тJ f№-тJ f№-т> 1 - е/2 > 6 + е/2.> 1 - е/2 > 6 + е/2.(4)(4)
1
2т
1
2т
J f№
-т
J f№
-т
> 1 - е/2 > 6 + е/2.
> 1 - е/2 > 6 + е/2.
(4)
(4)
Но в то же время можно выбрать X > 4/те и настолько большое К, чтобы при к> К было
5k = F„k(X)-Fnk(-X) < 6 + е/4.
Так как f„k (г) есть характеристическая функция, то
2 f„kWt = Д / ekXdt 1 dFnk^.
Интеграл, стоящий в правой части этого равенства, можно оценить следующим способом. С одной стороны, так как | eltx | = 1, то
/ eitxdt < 2т.
— т
С другой стороны,
т2
/ e‘txdt = — sin тх,
-тX
и так как | sin тх | < 1, то при | х | > X
т •2
J eltxdt < - .
-ТX
Отсюда, применив первую оценку при 1 х | < X и вторую при | х i > X, получаем:.
/ fnkWt-т К/ fnkWt-т Кf ( / e,txdt)dFn (х)
/ fnkWt
-т К
/ fnkWt
-т К
I < х -т
т .2
J ( / eltxdt^dFn (х) < 1тЬк + —
1х| > х -ТКX
и, следовательно,
1те
—JfnkWt< 5 +-.
Хт-ТК2
Это неравенство сохраняется и в пределе
12 т12 тте
1
2 т
1
2 т
J fWt < 5 + - ,
-Т2
что, очевидно, противоречит неравенсгву (4).
Таким образом, функция ^(х), к которой сходится в основном последовательность Р„к(ху есть функция распределения; согласно прямой предельной теореме ее характеристическая функция равна /(?). Чтобы закончить доказательство теоремы, нам остается доказать, что и вся последовательность (2) сходится в основном к функции F (,ХУ Предположим, что это не так. Тогда найдется подпоследовательность функций
Рп^хуР^,...,?^,...,(5)
сходящаяся в основном к некоторой функции F*(x), отличной от F (х) по крайней мере в одной из точек непрерывности. По уже доказанному Р*(х) должна быть функцией распределения с характеристической функцией /(?). По теореме единственности должно быть
F*(x) = F(x).
Это противоречит сделанному предположению.
Заметим, что условия теоремы выполнены в каждом из двух следующих случаев:
Последовательность характеристических функций /„(т) сходится к некоторой функции /(?) равномерно в каждом конечном интервале t.
Последовательность характеристических функций fn(t) сходится к характеристической функции/(г).
Пример. В качестве примера использования предельных теорем рассмотрим доказательство интегральной теоремы Муавра—Лапласа.
В примере 4 § 32 мы нашли характеристическую функцию случайной
Д - пр величины г? =:
Vnpq
—itit
fntWqenq + pe*У.
Воспользовавшись разложением в ряд Маклорена, находим, что
—itxj~itsj—У
qe nq + ре "? = 1(1 + Rn\
2n
где
“ 1 I it \k-2 pqk+q(-p)k
Rn-1 S I)—-
fc=3 k\ \ ^/ x/^pq^
Так как при и -*00
Rn -* о,
8*
то
и-> е"г2/2и-> е"г2/2Гf1
и
-> е"г2/2
и
-> е"г2/2
fn^tV 1- — (1+А„)
L2и
В силу обратной предельной теоремы отсюда вытекает, что при любом X
I \/npqI \/npq
I \/npq
I \/npq
когда и ->°°.
Из непрерывности предельной функции легко вывести, что эта сходимость будет равномерна по х.
§ 36. Положительно определенные функции
Цель настоящего параграфа — дать исчерпывающее описание класса характеристических функций. Приводимая нами ниже основная теорема была одновременно найдена А.Я. Хинчиным и С. Бохнером и опубликована впервые С. Бохнером.
Для формулировки и доказательства этой теоремы нам нужно ввести новое понятие. Мы скажем, что непрерывная функция/(f) вещественного аргумента t положительно определена в интервале —°° < 7 < °°, если каковы бы ни были вещественные числа г1ч t2, . .. ,tn, комплексные числа ^.^-•■•-^„H целое число п
(1)(1)п п_
(1)
(1)
2 2 Щ-Тк)^ > 0.
fc = i /=1
Перечислим несколько простейших свойств положительно определенных функций.
/(0) > 0. В самом деле, положим и = 1,Г] = 0, £ j = 1; тогда из условия положительной определенности функции /(?) находим, что
л л_
2 2 Htk-t^i = /(0)>0.
к = \ j=l
Для доказательства положим в (1) и = 2, ?i = 0, г2 = ?- £1- ?2 произвольны. Имеем по предположению
22_
0< S 5 f(tk-t^a# = /(0-0)?,^ + fa-na^ + к = 1 / - 1
+ 7(r - 0)g2fi + fV-O^ =
= /(0X1?! P +1^2 1')+ /(-0^2 + /(0ll$2,(2)
поэтому величина
пай +mUi
должна быть вещественной. Таким образом, если положить/(-O=aj + $ь /(t) = а2 + z/32, £i £2 = 7 + /5, ^1^2 = У " <5, то должно быть
07 5 +(317 - а25 + 0? 7 = 0.
Так как §i и £2, а следовательно, 7 и 8 произвольны, то должно быть
«1 - «2 = 0, Pi + Р2 = 0.
Отсюда следует наше утверждение.
При любых вещественных Г
। га 1 < /(о).
Положим в неравенстве (2) ^ = f (г), £2 = —| /(Z) |; тогда согласно предыдущему
2/(о)|/-(оI2-1 га\2\ га\-\ гаа га\> о.
Отсюда при | /(г) | ^ 0 получаем:
/(0)>1 /(01-
Если же | / (?) I = 0, то опять-таки в силу свойства 1
/(0)>1 /(01.
Из доказанного следует, между прочим, что если положительно определенная функция такова, что /(0) = 0, то /(г) = 0.
Теорема Бохнера- X и н ч и н а. Для того чтобы непрерывная функция fa* удовлетворяющая условию f(0) = 1, была характеристической, необходимо и достаточно, чтобы она была положительно определенной.
Доказательство. В одном направлении теорема тривиальна. Действительно, если
/(0= feixtdFa,
где F(x) — некоторая функция распределения, то при любом целом п, произвольных вещественных г,, г21» и комплексных числах 51,^2^п имеем:
2 S f (tk - tj) i^i = 2 2 { J e*x (Ч ‘^ dF (x) } ^ = к = 1 j = 1к = 1 / = 1
= J 2 S e^^^dF^V k=\ /=1
= И 2 eitkX^kH e^x^)dF(x^ k = \/=1
= IL eitkX ^kVdF^>0. k = l
Доказательство достаточности условий теоремы требует более сложных рассуждений.
Рассмотрим последовательность чисел / (— I, зависящую от цело-
численного параметра л. В силу положительной определенности функции / (х) мы имеем при любом N:
^(х) = - V V Ц е"^"^ > 0. N к=0 j = 0\ п )
Легко подсчитать, что в этой сумме имеется N — | г | слагаемых, для которых разность к - j равна г. Далее очевидно, что число г может изменяться от —N + 1 до N— 1. Таким образом, имеет место равенство
^(х)=5 (1- —И / e-irx.
r=-N\ N / \П /
Умножим обе части полученного равенства на eisx и проинтегрируем по х в пределах от — л до л:
/ e‘sx^\x}dx= S (1--)/ -$ e"irx eisx dx,
—irr-—N\ N /\ П / —t
Известно, что
" -i(r-s)x , _ | 0 ДЛЯ r + s,
J e ax =
—я-l 2л для г = s.
Поэтому
(1 -= — J WeisX dx= J elsx dF^(x\
\ N / \ п/ 2n —n— ”
где
/ ^n\xw
2Л —7Г
есть неубывающая функция с полным изменением, равным
F^W= ^ J^^(x)dx= /(0)=1, 2л —гг
т.е. является функцией распределения.
На основании первой теоремы Хелли мы можем найти последовательность Nk - °° при к для которой функции F^ (х) (и фиксировано!) сходятся к предельной; обозначим ее через F^ (х). Функция F^ (х) снова является функцией распределения, так как при любых N и произвольном е> О F^ (-л — е) = О, F^ (л + е) = 1 и, значит, при произвольном е > 0 также
F^ ( л — е) = О, F^ (л +е) = 1.
Согласно второй теореме Хелли
lim $ eisx dF^Kx^ f eisx dF^ (х).
Таким образом *),
J eisxdF<n\x)
\ И /—7Г
при всех целочисленных s (s = 0, ±1, ±2, . . .).
Рассмотрим теперь последовательность характеристических функций /„ (7), определенных посредством равенства
fn (Г) =/ eitx dFn (х),
—пп
где
Рп(х) = Р<"Ц—\ • \ и /
Легко проверить, что при всех целочисленных кЛегко проверить, что при всех целочисленных кНо каково бы ни было 7, мы можем подобрать такую последовательность к =к(п, t)*), чтоНо каково бы ни было 7, мы можем подобрать такую последовательность к =к(п, t)*), чтокО < t<пкО < t<п1п1пИз непрерывности функций /(7) следует, чтоИз непрерывности функций /(7) следует, что/(0 =/(0 =/ к \ / к lim /I—1= lim fn I — П-^» \ И / п-*<» \ И/ к \ / к lim /I—1= lim fn I — П-^» \ И / п-*<» \ И(4)(4)Если мы докажем, что при всех вещественных t f^ = \mfn^.Если мы докажем, что при всех вещественных t f^ = \mfn^.(5)(5)то доказательство теоремы будет завершено, так как /(7) — непрерывная функция и поэтому, в силу обратной предельной теоремы для характеристических функций, будет характеристической функцией.С этой целью заметим, что из (3) и (4) следует равенството доказательство теоремы будет завершено, так как /(7) — непрерывная функция и поэтому, в силу обратной предельной теоремы для характеристических функций, будет характеристической функцией.С этой целью заметим, что из (3) и (4) следует равенствоlim £ (7) = lim /„ (7) - fn I л-*”л-*~ IL\ nlim £ (7) = lim /„ (7) - fn I л-*”л-*~ IL\ n= /(0 += /(0 +limn -*°°limn -*°°fntV fnfntV fn(6)(6)
Легко проверить, что при всех целочисленных к
Легко проверить, что при всех целочисленных к
Но каково бы ни было 7, мы можем подобрать такую последовательность к =к(п, t)*), что
Но каково бы ни было 7, мы можем подобрать такую последовательность к =к(п, t)*), что
к
О < t<
п
к
О < t<
п
1
п
1
п
Из непрерывности функций /(7) следует, что
Из непрерывности функций /(7) следует, что
/(0 =
/(0 =
/ к \ / к lim /I—1= lim fn I — П-^» \ И / п-*<» \ И
/ к \ / к lim /I—1= lim fn I — П-^» \ И / п-*<» \ И
(4)
(4)
Если мы докажем, что при всех вещественных t f^ = \mfn^.
Если мы докажем, что при всех вещественных t f^ = \mfn^.
(5)
(5)
то доказательство теоремы будет завершено, так как /(7) — непрерывная функция и поэтому, в силу обратной предельной теоремы для характеристических функций, будет характеристической функцией.
С этой целью заметим, что из (3) и (4) следует равенство
то доказательство теоремы будет завершено, так как /(7) — непрерывная функция и поэтому, в силу обратной предельной теоремы для характеристических функций, будет характеристической функцией.
С этой целью заметим, что из (3) и (4) следует равенство
lim £ (7) = lim /„ (7) - fn I л-*”л-*~ IL\ n
lim £ (7) = lim /„ (7) - fn I л-*”л-*~ IL\ n
= /(0 +
= /(0 +
lim
n -*°°
lim
n -*°°
fntV fn
fntV fn
(6)
(6)
Обозначим 9 = t. Согласно выбору величин к имеем 0< 9 < 1/и. п
По определению функции fn(t)
к
iк \ i ип г — х
Л(0-/п " ’ М f е ” (^-1№(х)|<
’\ п / ; ~ип
1ТП
; \ei6x-WdFnQxY(7)
— 1ТП
Воспользовавшись неравенством Буняковского, находим, что
ЛЛЛ ТТН
J \ ei6x \ \dFn (х)< V f ie'^ -H2dFn(x) = — ЛЛ—лл
/ л л
= V / 2(1 -cos9x)dFn(x) = <2(1-Rfn(9)),(8)
—лл
где символ Rfn(9) означает вещественную часть fn(9). Так как cosz < cos az при 0 < а < 1 и —л < z < л, то
1 — Rfn (9) = J (1 — cos6x) dF„ (х) = J (1 ~ cos0 ■ nz)dFn (zn) < —nn—Л
J (1 - cosz)dFn (zn).
— Л
А так как
Fn (zn) = Fw (z),
TO
~Rf„(9)< / (1 - cosz)^") (z)= 1 -R J eiz dF^ (z).
Отсюда в силу (3) находим, что
1 -Rfn(9)^ 1(9)
Собрав вместе неравенства (7), (8) и (9), находим, что
/ к \
Л(0-/„ —
\ п /
V2M -
\ \п Н
Из непрерывности функции /(7) отсюда следует, что
Нти ~»ооНти ~»ооММпММпкпкп= 0.= 0.
Нт
и ~»оо
Нт
и ~»оо
ММп
ММп
к
п
к
п
= 0.
= 0.
Соотношение (5), как это видно теперь из (6), доказано.
§ 37. Характеристические функции многомерных "случайных величин
В настоящем параграфе мы излагаем без доказательств основные сведения о характеристических функциях многомерных случайных величин.
Характеристической функцией n-мерной случайной величины (?i, ^2 ёи) называется математическое ожидание величины
Kt. +г, +...+
е, где tx,t2, ■ ■ ■ Хп — вещественные переменные
/(71,72,...,r„) = Mexp(z S tk ^k ).(1)
fc = i
Если F(xx, x2, ..., x„) есть функция распределения величины (? i, ^ 2^п) то, как мы знаем из предыдущего*),
f(tx, t2,. . . , tn) = J. . . J(expz 5 tk xk^dF<xx,. . . ,x„).(2)
fc = i
Подобно тому как и в одномерном случае, характеристическая функция n-мерной случайной величины равномерно непрерывна во всем пространстве (—°° < tj < +°°, 1 < / < п) и удовлетворяет следующим соотношениям:
/(0,0,...,0)-1,
I f{tx, t2, ... ,tn)\< 1 (-°°< tk < +°°, к = 1,2, . . .),
/(-П. -ti,. . . ,-t„) = f(tx, t21. . . , tn>.
По характеристической функции f(tx. t2, . . . ,t„) случайной величины (£ i, £ 2 - •• •?«) легко найти характеристическую функцию любой /с-мерной (к < л) величины (£у1, ^,2, .. ., ^/t), компонентами которой являются величины £s (1 < s < л). Для этого в формуле (2) нужно положить равными нулю все аргументы ts при s + /^.(1 < г < к). Так, например, характеристическая функция величины £j равна
Мх)= f(tx, 0,...,0).
Из определения вытекает, что если компоненты величины (£ i, £ 2 - • • • - ?«) являются независимыми случайными величинами, то ее'характеристическая функция равна произведению характеристических функций компонент'
f(tl,t2,.. -,tn)= f(h) Л(Ъ)/(?„)•
Так же как и в одномерном случае, многомерные характеристические функции позволяют легко находить моменты различных порядков.
Так,например,
м^1 ^..Лпп- И-.Лх^' х^ ... xknndF(x1,x2,...,xn) =
dt^dt^ dtkn Jr,=r2 = . . ,= f„=0
Для вычисления характеристических функций полезно знать следующую теорему, доказательство которой без труда проведет читатель.
Теорема 1. Если характеристическая функция величины (£ ,, £ 2 - • ., £ п) равна f(tx,t2t„), то характеристическая функция величины (о i § 2 + av
о2£2 + #2<7„^„+ а„), где at и с, (1 < /<и) -вещественные постоян
ные, равна
exp(z 5 ak tk) • f(alti,a2t2, .. . ,on t„\
Л = 1
Пример 1. Вычислим характеристическую функцию двумерной случайной величины, распределенной по нормальному закону:
Р(^Т)=—— ехр - -—-—— [х2 — 2гху + у2]).(3)
2л (1 — г ) I 2(1 - г)]
По формуле (2)
f(ti,t2) = Г? #е " p(x,y)dxdy.
2л (1 - г )
Заменой переменных мы можем привести f(tx, t^ к виду
- ^(7 +2ГГ, r2+ r5) 1__L(U^+U^
f(ti,t2)=e— Пе 2 du du =
2л
-^-(rJ + zrr.fj + r2,)
= е 2
Пример 2. Применяя теорему 1, мы найдем характеристическую функцию величины (т?], т?2), распределенной по нормальному закону:
Р ^.у) = ~-г. х 2тго1о2(1 - г )Р ^.у) = ~-г. х 2тго1о2(1 - г )1
Р ^.у) = ~-г. х 2тго1о2(1 - г )
Р ^.у) = ~-г. х 2тго1о2(1 - г )
X ехр
Если мы положим г?! = о^ + а, т?2 = o2g2 + Ь, то величина g2, ?2) будет распределена по закону (3). Согласно теореме 1 характеристическая функция величины (г?,, т?2) равна
‘РЙь ?2) = ехр‘РЙь ?2) = ехрiatt + 1а1г(ojtj + 20,02^^2 + о, r2)
‘РЙь ?2) = ехр
‘РЙь ?2) = ехр
Из определения характеристической функции вытекает следующая Теорема 2. Если f {ti лг7„) есть характеристическая функция
величины (|2, £2, .... £„), то характеристическая функция суммы £1 + £2 + ■ ■ • +?п равна
Н0= Нм,...,т\
Примечание. Заметим, что
/(Т)= /(»!. «2«„)
есть характеристическая функция суммы t, ^ + (2^2 + ■ ■ ■ + tn^n •
Пример 3. Применим теорему 2 к определению функции распределения суммы г?] + т?2, если (t?j , т?2) распределена по закону (4) .
Согласно теореме 2 характеристическая функция суммы т?] + т?2 равна
f(t) = exp it(a+b)- (of + 2ra1a2 + of) .
Мы знаем (пример 1 § 32), что это — характеристическая функция нормального закона с математическим ожиданием, равным а + Ь, и дисперсией, равной of + 2ГО] о2 + of. Этот результат был нами получен ранее непосредственно (§ 21, пример 2).
Важно заметить, что в многомерном случае сохраняется следующая теорема.
Теорема 3. Функция распределения F (хь х2, . . ., х„) однозначно определяется своей характеристической функцией.
Доказательство этого предложения основывается на формуле обращения
Теорема 4. Если f(tY, t2, ... . tn> - характеристическая функция, а Е(хх,Х2~ ..., х„) - функция распределения случайной величины
(L.bUVto
?Uk^ tk<bh, к=\Д,... ,и} =
1
т
т
еИкак _ e'fkbk
hm
f
f
X
т-~ (2л)
— Г
—т
Itk
X f(tlw..., tn)dtidt2 . . .dt,
где ak и bk - любые вещественные числа, удовлетворяющие единственному требованию; вероятность попадания на поверхность параллелепипеда ак ^^к Ьк (к = 1,2,. .., и) равна нулю.
Точно так же, как и в одномерном случае, имеют место прямая и обратная предельные теоремы для характеристических функций. Мы не будем на этом останавливаться.
Пример 3. Говорят, что «-мерная случайная величина $1,Ь- - ■ ■• £и) имеет невырожденное (собственное) п-мерное нормальное распределение, если ее плотность распределения имеет вид
1
- -2(^1 ,^2,. . . ,х„)
р (х,,х2, . . . ,х„) = Се
где
Q (х!,х2,. .. , х„)= Т, Ьц <х{ - а.^х, - а,) i.j
— положительно определенная квадратичная форма, С, а, и Ьц- действительные постоянные.
Несложные подсчеты показывают*), что
с = (V^y" Vd,
где
Ьц Ь12 . . . ьХп
_ Ь 2 1 Ь2 2 . . . Ь2п
bm bn2 . . . Ьпп
Обозначим через Пц минор D, соответствующий элементу Ьц. тогда
M^=ah а) = D^= ^- (/=1,2,...,и),
М «г - ад (^j - a,) DUч
гц = ~ = -7^— (i, ) = 1.2,л).
о.О]VDuDn
Определитель D и главные миноры его положительны.
Обычными подсчетами легко проверить, что характеристическая функция величины Йь^. - • • • ёи) равна
Таким образом, п-мерное нормальное распределение вполне определяется заданием математического ожидания и дисперсии.
Из выражения для характеристической функции n-мерной нормально распределенной случайной величины мы видим, что распределение величины
при любых 1 < i j < z"2 <при любых 1 < i j < z"2 << i^ < п будет /с-мерным нормальным рас-< i^ < п будет /с-мерным нормальным рас-пре делением.пре делением.
при любых 1 < i j < z"2 <
при любых 1 < i j < z"2 <
< i^ < п будет /с-мерным нормальным рас-
< i^ < п будет /с-мерным нормальным рас-
пре делением.
пре делением.
§ 38. Преобразование Лапласа — Стилтьеса
Для случайных величин, которые принимают только неотрицательные значения, во многих случаях предпочтительнее, чем характеристическими функциями, пользоваться преобразованиями Лапласа — Стилтьеса. Пусть случайная величина £ — неотрицательная и F (х) — ее функция распределения. Преобразованием Лапласа - Стилтьеса для F (х) называется интеграл
(1)(1)/(s)= J e^xdF(x).
(1)
(1)
-о
Преобразование Лапласа — Стилтьеса обладает рядом полезных свойств, в значительной мере повторяющих свойства характеристических функций.
Преобразование Лапласа — Стилтьеса является аналитической функцией в правой полуплоскости; для него нечетные производные отрицательны, а четные — положительны;
/(0) =1,
Функция распределения однозначно определяется по своему преобразованию Лапласа — Стилтьеса;
Чтобы последовательность функций распределения сходилась в каждой точке непрерывности, необходимо и достаточно чтобы последовательность их преобразований Лапласа — Стилтьеса сходилась равномерно в каждом конечном отрезке аргумента;
Преобразование Лапласа — Стилтьеса суммы независимых случайных величин равно произведению преобразований Лапласа — Стилтьеса слагаемых;
6,/(")(0) = (- 1)" J xndF(xY
-о
Приведем преобразования Лапласа — Стилтьеса для некоторых распределений.
Единичное распределение; F(x) = 0 при х < а и F(x) = 1 при х > а;
f^-e-ttS.
Показательное распределение: F (х) = 1 — е~Хх при х > 0; Л
Гамма-распределение: F (х) =^— е , а и 0 - положитель
ные постоянные;
(p+sf "
Xke-x
Распределение Пуассона: рк = ——— , к = 0,1,2,. . .
m = e"x^ -е~\
Геометрическое распределение: рк = Р {£ = kt = qpk, к = 0,1,
Проиллюстрируем использование теории преобразований Лапласа — Стилтьеса на примере одной технической задачи.
Мы начнем изложение с одной прикладной задачи. Она позволит нам понять важность развития теории суммирования случайного числа слагаемых для прикладных областей знания, а, следовательно, и для теоретической науки.
В современном инженерном деле одним из важнейших свойств технических систем принято считать их высокую надежность, т.е. способность длительное время выполнять без ущерба для дела положенные рабочие функции. Для увеличения надежности технических устройств используется широкий спектр мер, в том числе так называемое резервирование с восстановлением.
Предположим, что А2 представляет собой или техническую систему в целом или какой-нибудь ее элемент. Для увеличения ее надежности мы подключаем точно такое же устройство А2, которое принимает на себя рабочие функции в момент, когда Aj исчерпывает свой рабочий ресурс (отказ элемента Ai). В момент отказа Ai немедленно l)Aj отправляется на ремонт (восстановление рабочих функций) и 2) подключается в работу элемент А2, который и берет на себя всю рабочую нагрузку. Спрашивается, какой эффект дает резервирование (введение дополнительного элемента А2) и восстановление отказавших элементов, если после ремонта восстановленный элемент немедленно передается в резерв? Для решения этой задачи нам придется сделать некоторые предположения. А именно мы предположим, что
длительность безотказной работы представляет собой случайную величину с функцией распределения F (х); '
оба элемента Aj и А2 обладают одинаковыми техническими данными и после ремонта полностью восстанавливают свои рабочие свойства:
длительность восстановления т? является случайной величиной с распределением G (х);
отказавший элемент после отказа немедленно начинает ремонтироваться; после восстановления элемент немедленно переходит в резерв.
Обозначим через f длительность безотказной работы пары элементов Aj и А2 и через Ф(х) ее функцию распределения. Заметим, что под безотказной работой пары элементов мы понимаем период от начала работы до момента, когда оба элемента окажутся в состоянии отказа. Наша ближайшая задача состоит в том, чтобы вывести уравнения для неизвестной функции Ф(х). Нам будет удобно искать не функцию Ф(х), а функцию Ф (х) = 1 — Ф(х). И вообще для функции распределения F^ (х) введем обозначение F^ (х) =1 — F^ (х) = Р {^ > х} .
Событие f ^ х может наступить двумя принципиально различными способами: во-первых, может случиться, что элемент А2 сам проработает время большее, чем х, а, во-вторых, Ai может отказать до момента х, но система, состоящая из Ai (направленного на ремонт) и А2 (взявшего на себя нагрузку), проработает безотказно оставшееся до момента х время. Обозначим через си (м) вероятность того, что только что описанная система проработает безотказно время, большее м. Собрав все вместе, мы
получаем следующее равенство:
5(x)=F(x) + f и>(х -z)dF(z\(2)
о
Полученного равенства для решения стоящей перед нами задачи недостаточно, поскольку при его составлении мы ввели дополнительную неизвестную вероятность со. Для ее определения составим новое уравнение. Найдем со (х). Здесь также может случиться, что интересующее нас событие может наступить двумя различными путями: описанная нами система проработает больше, чем время х, поскольку элемент Аг проработает время большее х; элемент Ai откажет до момента х, но до этого момента будет восстановлен элемент Ai и система, состоящая из отказавшего элемента Аг и вступившего в работу отремонтированного элемента Ai, проработает по меньшей мере до момента х. Сказанное приводит нас к равенству
w(x) = F(x) + / w(x - z)G(z)dF(z).(3)
о
Для решения полученных уравнений мы воспользуемсяпреобразования- ми Лапласа — Стилтьеса. С этой целью введем в рассмотрение преобразования
^(5)= / е-5х^Ф(х), f(s)= f e~sx dF(x). оо
w(s)= J е sxdw(x), g(s) = J e sx G (x)dF(xy оо
В терминах этих преобразований уравнения (2) и (3) принимают следующий вид:
l(s) =/(s) w(s), w(s) =/($) -g(s) + w(s)g(s)
Из них находим
¥’($)=/($)¥’($)=/($)f($)-g(s)1 -^(s)f($)-g(s)1 -^(s)(4)(4)
¥’($)=/($)
¥’($)=/($)
f($)-g(s)
1 -^(s)
f($)-g(s)
1 -^(s)
(4)
(4)
Формально задача решена, поскольку мы нашли преобразование Лапласа — Стилтьеса распределения Ф (х) и, значит, по формуле обращения можем найти и саму функцию Ф (х). Однако полученный результат позволяет получить многочисленные следствия, на которых мы остановимся
Мы сейчас ограничимся определением средней длительности безотказной работы системы с резервом. Из формулы (4) находим
/^)_f(s)+№)-gXs)+g'(s)
ф($)/0)№)-g(s)X—g^
Отсюда,положив 5=0, приходим кравенству
/1 \
Ф '(0) = -/'(0) I + -
X Ь-^(0)/
Но мы знаем, что
Т = М f = - ф '(0), а = 7 xdF(x) = -/'(0) о
и что
а = 1 — g(0) = 7 G(x)dF(x) о
есть ни что иное как вероятность того, что длительность восстановления окажется больше, чем длительность безотказной работы элемента. Таким образом,
Т = а(1+ —У(5)
\ а /
Из этой формулы мы видим, что среднюю длительность безотказной работы дублированной системы можно повысить двумя различными путями:
увеличивать среднюю длительность безотказной работы элементов,
уменьшать продолжительность ремонта.
Как правило, первый способ достается большой ценой, тогда как второй — нуждается только в хорошей организации работ. К тому же он приносит, как это видно из формулы, более ощутимые результаты; особенно, если а = 0, т.е. если длительность восстановления оказывается, как правило, меньше длительности безотказной работы элемента.
Предположим теперь, что мы совершенствуем процесс восстановления и на n-й стадии достигаем функции распределения G„(x) такой, что а„ -*0, не обращаясь при этом в 0.
Докажем, что если математическое ожидание длительности безотказной работы конечно и равно а, а ап 0, то имеет место следующее предельное соотношение:
f_
Р < — >.х ре х при х > 0 (и -*°°).
Иными словами мы докажем, что асимптотически длительность безотказной работы рассматриваемой системы двух элементов имеет показательное распределение.
Согласно сформулированным нами свойствам преобразований Лап- ласса—Стилтьеса нам следует показать, что преобразование Лапласа —
Стилтьеса для величины - разуем выражение
^Ч Г )\ Т )
х 1 п /\ * п /
следующим образом: / s \ „ / s \
— стремится к . С этой целью преоб-
Тп1+5
)
\ 1 п /\ 1 и /
/ 5\
1 -£п| ——
\ ^ и /
1
U1
Т
Но очевидно, что
1-/(У)/(у)-/(о)
SS
^т;
Ясно, что
/ s \/ sа/
Тп~(—
. \ Тп /\ Тп / ] а„\ 7
/ s \/ s \
Цг(г) ^(к))
\/ s V
/ \т ) п '\*п /
ТеперьТеперь
Теперь
Теперь
SX
1~
/ (1-е г« )(1-G„(x))d^(x).
а„ о
Оценим интеграл, стоящий в правой части последнего соотношения. С этой целью разобьем его на два слагаемых:
sx
( /' + 7 )(1-е^)(1-G„(xW(x).
0 Vrn
В первом слагаемом воспользуемся неравенством 1 — е~х < х, а во втором — неравенством 1 — е~х < 1. В результате получим, что
)(l-G„(x))dF(x)<
<—— / (1-G„(x))^(x) = o(a„), о
SX
/(1-е т« )( 1 -Gn^dF^x)^ / (1 Gn(x))dF(x) = o(an).
_ ГтГт
Собрав все оценки вместе, окончательно получаем
/ s \1
Ф„ I— )= (1 + о(1)),
\TJ 1+s
что и требовалось доказать.
Упражнения
Доказать, что функции
/ (Г) = S ак cosktf2(0 = s аке‘^к* к = Ок = О
где ак > 0, ^^^ак = \, являются характеристическими. Определить соответствующие распределения вероятностей.
Найти характеристические функции для следующих плотностей вероятностей :
„(х)^^1;
а
р(х) = ;
я (а2 + х2)
0
при
lx 1 >а.
в) р(х)=
а - lx 1
при
lx 1 < а
. а2
г) р(х) = пах2
Замечание. Внимательный читатель заметит, что примеры а) и б), а также в) и г) являются, так сказать, обратными.
Доказать, что функции
11_ 1
<4iOT = —г~— ,7> ^ОТ- 2
ch Гsh гch Г
являются характеристическими соответственно для плотностей распределения
1ях
ptU)= . Р2<^) = , P1W*
ях„ ях„ пх
2 ch—4 ch 2sh
222
Найти распределения вероятностей случайных величин, характеристические функции которых равны
asin at
a) cos Г, б) cos t, в), г) а + itat
Доказать, что функция, определяемая равенствами
а - t
fy) = при 0 < Г < а,
а
является характеристической.
Замечание. Характеристические функции примеров 2г и 5 обладают следующим замечательным свойством:
fi<O=fsW) ПРИ
Ir I < а,
h ОТ * Л ОТ при
IГI > а и t ^ + 2а, . . .
Таким образом, существуют характеристические функции, значения которых совпадают в сколь угодно большом сегменте (-я, а) и не равные тождественно. Первый пример таких двух характеристических функций был указан Б.В. Гнеденко; затем М.Г. Крейн указал необходимые и достаточные ус- словия, при которых из равенства двух характеристических функций в каком-либо сегменте ( - а, а) следует их тождественное равенство.
Доказать, что можно найти такие независимые случайные величины {,, £2, £3. что распределения ?2 и £3 различны, а функции распределения сумм £, + $2 и (, + Е3 одинаковы.
Указание. Воспользоваться результатами примеров 2а и 5.
Доказать, что если f(t) является характеристической функцией, то функция
УОТ =УОТ =ПОft + 2а)ПОft + 2а)приприприпри
УОТ =
УОТ =
ПО
ft + 2а)
ПО
ft + 2а)
при
при
при
при
также является характеристической.
Указание: Воспользоваться теоремой Бохнера - Хинчина.
Доказать, что если f(t) является характеристической функцией, то функция также является характеристической.
Доказать, что если функция У (Г) является характеристической, то функция
1 t
¥>(г) = $ НО dt t О
также является характеристической.
Доказать, что для любой вещественной характеристической функции f (t) имеет место неравенство
1 -У(2г)< 4(1 -fW,
а, значит, для любой характеристической функции - неравенство
1 - 1Д2Г) I2 < 4(1 - 1/(Г) 12)-
Доказать, что для любой вещественной характеристической функции имеет место неравенство
1+ f (2г) > 2[ f (Г)] 2.
Доказать, что если F (х) - функция распределения, а У (Г) - ее характеристическая функция, то при любом значении х верно равенство
1 Т
lim ——- J ИПе dt =Fi.x + 0) - F Lx - 0).
7^00 2 Г _r
Доказать, что есть F (x) - функция распределения, a f(t) - ее характеристическая функция и хк - абсциссы скачков F(x), то
Т
Um — J 1У(Г)12^ = 2 [F^ + W-F^-O)].
Т^ = 2 1 -Тк
.Доказать, что если случайная величина имеет плотность распределения, то ее характеристическая функция при t -> = стремится к 0.
. Случайная величина £ распределена по закону Пуассона; М £ = X. Доказать,
что при X -> оо распределение величины стремится к нормальному с пара-
метрами я = 0 и а2 = 1.
16. Случайная величина £ имеет плотность распределения
0
при
х < 0,
PW =
s х<х-1е-9х . Г(а)
при
х > 0.
« - а
Доказать, что при а -» ~ распределение величины сходится к нормаль-
х/оГ
ному с параметрами я=0, а2 =1.
Замечание. Результаты упр. 15 и 16 позволяют при вычислении вероятностей Р { я < £ < 6} для больших значений X соответственно а) использовать таблицы нормального распределения. В частности, оказывается, что для распределения х2 уже при п > 30 указанное предельное распределение дает прекрасную точность. Это последнее замечание постоянно используется в статистике.
.Доказать, что если ipV) - характеристическая функция и функция 0(f) такова, что для некоторой последовательности {й„} (^ и ^ °° при п -► “) произ
ведения /„(f) =<p(f) 0(/?nf) также являются характеристическими функциями, то функция 0(f) — характеристическая.
I . I А В A 8
КЛАССИЧЕСКАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Постановка задачи
Интегральная предельная теорема Муавра—Лапласа, доказанная нами в главе 2, послужила источником большого цикла исследований, имеющих фундаментальное значение как для самой теории вероятностей, так и для ее многочисленных приложений в естествознании, технических и экономических науках. Для того, чтобы составить себе представление о направлении этих исследований, мы придадим теореме Муавра—Лапласа несколько иную форму. А именно, если, как это мы неоднократно делали, через д^ обозначить число появлений события А в к-м испытании, то число появле-
п
ний события А в п последовательных испытаниях равно 2 д^. Далее, к = 1
пп
в примере 3 § 25 мы подсчитали, что М S рк = пр и D S рк = npq.
к = 1к = 1
Поэтому теорема Муавра—Лапласа может быть записана в таком виде: при п-*°°
(О
и словами сформулирована так: вероятность того, что сумма уклонений независимых случайных величин, принимающих два значения 0 и 1 с вероятностями, соответственно равными q и р = 1 — q (0 <р < 1) , от их математических ожиданий, деленная на квадратный корень из суммы дисперсий слагаемых, будет заключаться в пределах от а до Ь, при увеличении числа слагаемых до бесконечности, равномерно относительно а и b стремится
к интегралу -7=-=- / е z /2 dz.
V2m а
Естественно возникает вопрос: насколько тесно связано соотношение(1) со специальным выбором слагаемых рк, не будет ли оно иметь место и при
более слабых ограничениях, наложенных на функции распределения слагаемых? Постановка этой задачи, а также ее решение являются в основном делом П.Л. Чебышева и его учеников А.А. Маркова и А.М. Ляпунова. Их исследования показали, что на слагаемые следует наложить лишь самые общие ограничения, смысл которых состоит в том, что отдельные слагаемые должны оказывать незначительное влияние на сумму. В следующем параграфе мы дадим точную формулировку этого условия. Причины, в силу которых эти результаты приобрели огромное значение в приложениях, лежат в самом существе массовых явлений, изучение закономерностей которых, как мы говорили ранее, и составляет предмет теории вероятностей.
Одной из важнейших схем, по которой идет использование результатов теории вероятностей в естествознании и технике, состоит в следующем. Считают, что процесс протекает под влиянием большого числа независимо действующих случайных факторов, каждый из которых лишь ничтожно мало изменяет течение явления или процесса. Исследователь, интересующийся изучением процесса в целом, а не действием отдельных факторов, наблюдает лишь суммарное действие этих факторов. Приведем два типичных примера.
Пример 1. Пусть производится некоторое измерение. На результат неизбежно действует большое количество факторов, порождающих ошибки в измерении. Сюда относятся ошибки, вызванные состоянием измерительного прибора, которое может нечувствительно изменяться под влиянием различных атмосферных или механических причин. Сюда относятся личные ошибки наблюдателя, вызванные особенностями его зрения или слуха и также могущие незначительно изменяться в зависимости от психического или физического состояния наблюдателя, и т.д. Каждый из этих факторов породил бы ничтожную ошибку. Но на измерении сказываются сразу все эти ошибки, наблюдается ’’суммарная ошибка”. Иначе говоря, фактически наблюдаемая ошибка измерения будет случайной величиной, являющейся суммой огромного числа ничтожных по величине и независимых между собой случайных величин. И хотя эти последние неизвестны, так же как неизвестны их функции распределения, их влияние на результаты измерений заметно и поэтому должно быть подвергнуто изучению.
П р и м е р 2. В процессе массового производства, Существующего во многих отраслях промышленности, изготовляются большие партии одинаковых предметов. Обратим внимание на какую-нибудь числовую характеристику интересующего нас продукта. Поскольку это изделие находится в соответствии с техническими нормами, существует некоторая нормальная величина избранной нами характеристики. В действительности же всегда наблюдается некоторое отклонение от этой нормальной величины. При правильно поставленном процессе производства такие отклонения могут вызываться лишь случайными причинами, каждая из которых произ-
водит лишь незаметный эффект. Суммарное же их действие производит заметное уклонение от нормы.
Подобных примеров можно привести сколько угодно.
Таким образом, возникает задача изучения закономерностей, свойственных суммам большого числа независимых случайных величин, каждая из которых оказывает лишь малое влияние на сумму. Этому последнему требованию мы придадим позднее более точный смысл. Вместо того чтобы изучать суммы очень большого, но конечного числа слагаемых, мы будем рассматривать последовательность сумм со все большими большим числом слагаемых и считать, что решения интересующих нас задач даются предельными функциями распределения для последовательности функций распределения сумм. Такого рода переход от конечной постановки задачи к предельной является обычным как для современной математики, так и для многих отделов естествознания.
Итак, мы пришли к рассмотрению следующей задачи: дана последовательность взаимно независимых случайных величин
Ь, £2 , • ■ ■ Лп, • • ■,
о которых мы предположим, что они имеют конечные математические ожидания и дисперсии. В дальнейшем мы станем придерживаться следующих обозначений:
^=М^, ^=D^, В* = b==D S ^. к = 1к = 1
Спрашивается, какие условия нужно наложить на величины ^к, чтобы функции распределения сумм
1"
-2 ^к-ак)(2)
Вп к = 1
сходились к нормальному закону распределения? В следующем параграфе мы увидим, что для этого достаточно выполнения условия Линдеберга: при любом т > 0
1"
Um — S / <х - ак^бРк^ = ^
°° Вп к - \ \х — а^ \> тВп
где Fk(x) обозначает функцию распределения величины §к.
Выясним смысл этого условия.
Обозначим через Ак событие, состоящее в том, что
I ^к - “к | > тВп (к = 1,2,. .. , и)
и оценим вероятность
Р { max | ^к - ак | > тВп1 .
1 < fc< и
Так как
Р{ max | ^к - ак | >тВп} = Р{Л, + А2 + . .. + Л„} 1 < к < п
И
р{Л1+Л2+- .- + Ап^ < S Pl?!^} , к = 1
то, заметив, что
Р{Ла= J dFk(x^-—^ J <x-ak)2dFk(x) \х-ак\>тВп\ТВП) \х~ак\> тВп
находим неравенство
1п
Р{ max | ^к - ак | > тВп} < ——-S /(* - ^к) dFk(x).
1<КпТ Вп к = 1 \х-ак\>тВп
В силу условия Линдеберга, каково бы ни было постоянное т > 0, последняя сумма при п -* °° стремится к нулю. Таким образом, условие Линдеберга представляет собой своеобразное требование равномерной малости
1
слагаемых — (Хк ~ ак) в сумме (2). Вп
Отметим еще раз, что смысл условий, достаточных для сходимости функции распределения сумм (2) к нормальному закону, был вполне выяснен уже исследованиями А.А. Маркова и А.М. Ляпунова.
Теорема Линдеберга
Мы начнем с доказательства достаточности условия Линдеберга.
Теорема. Если последовательность взаимно независимых случайных величин £i > Ь, • ■ ■ > £„, . . . при любом постоянном т>0 удовлетворяет условию Линдеберга 1 п_
Нт — S / (x akydFk(x) = 0,(1)
п-*=Вп к = 1 \х-ак\>тВп
то при п^°° равномерно относительно х
[ 1 и11 Х 2
Р— 2 (£ - ак)< х /^"7= / e'z ^dz.
VBn k = i к)
Доказательств о. Для краткости введем обозначения
^пк " ~> Fnk^ = Р (^„к < х }.
Очевидно, что
MU=o, d^ = 1d^
Вп
и, следовательно, J DU = 1-(2')
Легко убедиться, что условие Линдеберга в этих обозначениях принимает следующий вид:
lim S / х2 dFnk(x) = 0.(1')
п-*” к = 1 |х I > т
Характеристическая функция суммы
1 "— 5Sn fc = 11 "— 5Sn fc = 1^к ак) ^ ^пк k = 1^к ак) ^ ^пк k = 1
1 "— 5
Sn fc = 1
1 "— 5
Sn fc = 1
^к ак) ^ ^пк k = 1
^к ак) ^ ^пк k = 1
равна
^„(0 = П fnAt).к = 1
Нам нужно доказать, что
lim Фп^^е"1'12. 00
С этой целью мы установим прежде всего, что множители f„kO) ПРИ и-* оо равномерно относительно кЦ^кСп) стремятся к 1. Действительно, принимая во внимание равенство М £пк = 0, находим, что
fnk^ - 1 = $^eltx - 1 - itx)dFnk(x).
Так как при любом вещественном а*)
| е'“ — 1 — ш | < а/2,(3)
то
Z2
\fnk(t)- 1 к —fx dFnk(x).
Пусть е — произвольное положительное число; тогда очевидно, что
Jx2dFnk(x) = J x2dFnk(x) + / x2dFnk(x')Ce2 + / x2dFnk(x).
I x| < elx I > e|x I > e
Последнее слагаемое может быть, согласно (1'), при достаточно больших п сделано меньше, чем е2. Таким образом, для всех достаточно больших п равномерно относительно &(1 <&<«) и Z в любом конечном интервале If КТ
\fnk^-\ Ке2Т2.
Отсюда мы заключаем, что равномерно относительно к(1 < к < п)
Hm fnk^ = 1(4)
ОО
и что для всех достаточно больших п при t, лежащих в произвольном конечном интервале 1t | < Т, выполняется неравенство
l/nao-l К 1/2.(5)
Мы можем, следовательно, в интервале 11 | < Т написать разложение
*) Эго неравенство и целую серию ему подобных можно вывести хотя бы следующим путем. Из того, что
(Inобозначает главное значение логарифма). пп
5 ln/nfc(O= 2 ln[l ЧЫА- 1)] =
к = 1к = 1
= S UnkOVX^Rn, к = 1
(6)
где п 00 (_ 1 V — 1
Rn= S . S Л—!—(ЫО-ху. к — 1 s — 2 S
В силу (5)
I^J< 2 2 1 |/nfc(r)-i |^ = к = 1 5 = 2 2
= 1 s< £
2 к = i 1 -|/^(г)- 1 I =
Так как
2 1/„Л(0-И = 2 Kei,x-X к = 1к = 1
Г2 ”Г2
< — 2 Jx1dFnk(x') = — , 2 к = 12
то
Г2
|ЛП1< —-max I fnk(t) - 1 |.
21 < к < п
1
-itx)dFnk(x) <
Из (4) вытекает, что равномерно относительно t в произвольном конечном интервале 11 | < Т, при л
Rn^o.
Но
иг2
2 (ЫО-Х) = -— +Рп, к = 12
где
Рп = -™ + 2 J(е1,х - 1 - itx)dFnk(x). 2 к = 1
(7)
(8)
Пусть е > 0 произвольно; тогда в силу (2')
п / •UtxY\
Рп= ^/ К " 1 - itx dFnk(x) +
fc = 1 Ш < е \2 /
"/t2X2\
+ S f I+ eItx — 1 — itx\dFnk(x^.
/с=11х|>е\2/
Неравенства (3) и (3') позволяют получить следующую оценку:
2/ |х ^dFnkCxVt2 ^ J x7dFnk(x)^
6 к = 1 | х I < ек = 11 х I > е
I Г I 3 пп
<-е 2 J x2dFnk^*t2 5 / x2dFnk(x') =
6 к = 1 I х | < ек = 11 х I > е
id3/Iн \ °.
= -e + ^i е £/ x2dFnk(x).
6\6/ к = 1 |х I > е
Согласно условию (1) второе слагаемое при любом е>0 может быть сделано меньше любого р> 0, лишь бы и было достаточно большим. Атак как е > 0 произвольно, то мы можем его выбрать настолько малым, чтобы, каковы бы ни были р > 0 и Т, для всех t, заключенных в интервале 11 | < Т, выполнялось неравенство
\рп\<2п(п> n0(e,p,T)L
Это неравенство показывает, что равномерно в каждом конечном интервале значений t
Um рп = 0.(9)
00
Собрав вместе соотношения (6), (7), (8) и (9), мы получаем окончательно, что равномерно в каждом конечном интервале t
Um ln^n(f) = — t2 /2. 00
Теорема доказана.
Следствие. Если независимые случайные величины ^i Л2, • • • Лп, • ■ ■ одинаково распределены и имеют конечную отличную от нуля дисперсию, то при п^-°° равномерно по х
( 1Р —( 1Р —П11 Х2
( 1Р —
( 1Р —
s (^-М^)<х/ е"г l2dz.
к = 1J V2n_o„
До казательство. Нам достаточно проверить, что при сделанных предположениях выполнено условие Линдеберга. С этой целью заметим, что в нашем случае
Вп = Ьх/п,
где b обозначает дисперсию отдельного слагаемого. Положив М^ = а, мы можем написать следующие очевидные равенства:
£ ~/ (x-a)2dFk(x) =
к = 1 Вп |х-а| > тВп
„1
= -71й/ (х-орДГДх^ —/ (х - a^dF^x).
nb \х — а\>тВпЬ \х — а\>тВп
В силу предположения о конечности дисперсии и ее положительности заключаем, что интеграл, стоящий в правой части последнего равенства, стремится к нулю, когда п->=°.
ТеоремаЛяпунова. Если для последовательности взаимно независимых случайных величин ^1,^2,- • ■ Лп- • ■ ■ можно подобрать такое положительное число 6 > 0, что при n^t”
п
2 М | I2 + б-0,(10)
к = 1
то при п-*°° равномерно по х
Вп к =
(^к - ак)<х(^к - ак)<х/ е zl 12 dz./ е zl 12 dz.Доказательство. Нам снова достаточно проверить, что условие Ляпунова (условие (10)) влечет за собой выполнение условия Линдеберга. Но это ясно из следующей цепочки неравенств:
(^к - ак)<х
(^к - ак)<х
/ е zl 12 dz.
/ е zl 12 dz.
п
-у 2/ (х -a^dF^x^
В„ к = 1 |х-ак I > тВ„
1®в^81®в^8п
1
®в^8
1
®в^8
2/\x-ak\2 + 8dFk(x)<
11к =к =J\x - ak\2 + 5dFk(x)J\x - ak\2 + 5dFk(x)ВВ2 + 62 + 6к = 1 |х —а^| > тВп
1
1
к =
к =
J\x - ak\2 + 5dFk(x)
J\x - ak\2 + 5dFk(x)
В
В
2 + 6
2 + 6
Локальная предельная теорема
Мы приведем теперь достаточные условия для применения другой классической предельной теоремы — локальной теоремы. При этом мы ограничимся рассмотрением только случая взаимно независимых слагаемых, имеющих одно и то же распределение вероятностей.
Условимся говорить, что дискретная случайная величина £ имеет решетчатое распределение, если существуют такие числа а и h> 0, что все возможные значения £ могут быть представлены в виде а + kh, где параметр к может принимать любые целые значения (— °° < к < °°).
К решетчатым относятся, например, распределения Пуассона, Бернулли и др.
Выразим теперь условие решетчатости распределения случайной величины £ в терминах характеристических функций. С этой целью докажем следующую лемму.
Лемм а. Для того чтобы случайная величина £ имела решетчатое распределение, необходимо и достаточно, чтобы при некотором Г^О модуль ее характеристической функции был равен единице.
Доказательство. Действительно, если £ распределена решетчато и рк есть вероятность равенства ^ = a + kh, то характеристическая функция величины £ равна
5 ркеи<а + к^ =eiat £ pkeitkh. к - — 06к - — 00
Отсюда находим, что
аа
(
ЭтА2ni- ”2ttz —
— ) = е h 2 pke2rik=e h.
h /к = - ”
Мы видим, таким образом, что для каждого решетчатого распределения
Предположим теперь, что при некотором tx ^ О 1Ж)1=1,
и докажем, что при этом £ имеет решетчатое распределение. Последнее равенство означает, что при некотором 6
Rti'W6.
Таким образом,
/ e1(1 xdF(x) = е16
9. Б.В. Гнеденко
и, следовательно,
jV^x-a)^^)^
Отсюда вытекает, что
J cos(txx - 0) dF(x) = 1.
Для того чтобы это равенство было возможно, необходимо, чтобы функция F(x) могла расти только при тех значениях х, при которых
cos^iX - 0) = 1.
Это означает, что возможные значения £ должны быть вида
9 2я
х = — + к— ,
что и требовалось доказать.
Число h мы будем называть шагом распределения.
Шаг распределения h максимален, если ни при каких 6(- °°<Ь< °°) и hx> h нельзя представить все возможные значения £ в виде b * khx.
Для иллюстрации различия между понятиями шага распределения и максимального шага распределения рассмотрим такой пример. Пусть £ может принимать в качестве своих значений все нечетные числа. Очевидно, что все значения § могут быть записаны в виде a + kh, где а =0, h =1. Шаг h, однако, не будет максимальным, так как все возможные значения £ можем записать также в виде b + khx, где b = 1, h j = 2.
Условия максимальности шага распределения можно выразить и в других терминах.
В о-п е р в ы х, шаг распределения будет максимальным тогда и только тогда, когда общий наибольший делитель попарных разностей возможных значений величины £, поделенных на h, равен единице.
В о-в торых, шаг распределения h максимален тогда и только тогда, когда модуль характеристической функции в промужетке 0 < | t | < 2тт/й меньше единицы и при t = Fn/h равен единице.
Последнее утверждение немедленно вытекает из только что доказанной леммы. В самом деле, если при 0 < Z, < 2л/Л
1М)1 = 1,
то согласно доказанному величина 2лД1 должна быть шагом распределения, а так как h < Fn/tx, то шаг h не может быть максимальным.
Отсюда мы можем сделать такой вывод: если h — максимальный шаг распределения, то для каждого е > 0 найдется такое число с0 > 0, что при всех t в интервале е < 1t1 < 2л//г - е имеет место неравенство
I/WI<«“<(1)
Пусть теперь случайные величины ^ , £2 ,-••,£», • • • взаимно независимы, решетчато распределены и имеют одну и ту же функцию распределения F(x). Рассмотрим сумму
^п=Ь^г + .■ + £„■
Очевидно, что она также является решетчатой случайной величиной и возможные ее значения могут быть записаны в виде па + kh. Обозначим через Рп(к) вероятность равенства
$п = na-vkh;
в частности, I\(k) = Р {£1 = а + kh} = рк.
Обозначим далее
an +kh - Ап
где 4„=M^,^ = Dr„=«Db.
Мы можем теперь доказать следующее предложение, очевидным образом обобщающее локальную предельную теорему Муавра—Лапласа.
Теорема. Пусть независимые решетчатые случайные величины
£1 Лг , • • • Лп, • ■ •
имеют одну и ту же функцию распределения Ftx) и их математические ожидания и дисперсии конечны. Тогда для того чтобы равномерно относительно к(— °° < /с < °°) при п-*00 имело место соотношение
Вп1
« ’-О.
необходимо и достаточно, чтобы шаг распределения h был максимальным.
Док аз ательство. Необходимость условия теоремы почти очевидна. Действительно, если шаг h не максимален, то возможные значения
п
суммы f = 5 ^k будут содержать систематические пропуски: разность k = 1
между ближайшими возможными значениями суммы не может быть меньше dh, где d есть общий наибольший делитель разностей возможных значений ^п, деленных на h . Если h — не максимальный шаг, то d > 1 при всех значениях п.
Доказательство достаточности условия теоремы требует несколько более сложных рассуждений.
Характеристическая функция величины ^к(к = 1,2,3,. . . ) равна
/(?)=2 pkeiat+itkh = eiot 2 pkeitkh,
к = — °°к = — 00
а характеристическая функция суммы ^п есть
f4h = etont f Pn^eitkh. к = —
Умножив последнее равенство на е"lan t- ltkh и проинтегрировав его в пределах от — -n/h до it/h, находим, что
2л"/й
— P„W=j fn^e"10п^itkh dt.
к-„jh
Заметив, что
hk = Bnznk + Ап - an
(вместо znk мы будем дальше писать z), можем написать
2л
— ЗД)=/ rn^e"ltzBndt,
"-я/й
где обозначено
_ НА п
Г^-е f(t).
Положив, наконец, х = tBn, находим окончательно;
2л5„лв„/йf / х \
—^Рп(к)= f е lzxrn^r\dx.
h-itBn!h\°п /
Легко подсчитать, что
e-z2 ^2 =— Je"^tzx-x212 dx.
\/2л2л
Представим разность
\вп1
Rn=ln ^PnW_ e-z /2
. иу2я
в виде суммы четырех интегралов
Rn = Ji + Ji + J3 + J 4,
где
где Л > 0 — достаточно большое, а е > 0 — достаточно малое постоянные числа, более точные значения которых будут выбраны нами позднее.
В силу следствия из теоремы, доказанной в предыдущем параграфе, в любом конечном интервале значений t равномерно относительно t выполняется соотношением
f (—1 '2 («-*=”).
Но отсюда следует, что каково бы ни было постоянное А,
•Л 0 (п -* ==).
Интеграл J2 оценивается посредством неравенства
I Ji | С J е х /2 dx С — / хе х /2 dx = - е л 2 /2.
I х I > аА АА
Выбрав достаточно большое/!, мы можем сделать Л сколь угодно малым.
Согласно неравенству (1) имеем
Отсюда ясно, что при п
J3->0.
Для оценки интеграла J^ мы заметим, что существование дисперсии влечет за собой существование второй производной у функции f*(t). Мы можем, следовательно, в окрестности точки t = 0 воспользоваться согласно (3) § 32 разложением
о2 г2 7
rw=i-—+«a2),
и при i Г | < е, еслие достаточно мало, получим:
2,2°2
a t
1/Ч0К1— <е 4
4
Тогда при i* | < ей„
пог t1 1г
< е 43 п = е 4
Поэтому
s f2с»
|J4 к 2 / " е"4" dt < 2/ е~ dt.
" АА
Выбором достаточно большого А мы можем добиться, чтобы интеграл J4 был сколь угодно мал. Теорема доказана.
Имеется еще другой случай, когда естественно ставить вопрос о локальном поведении функций распределения сумм. Это — случай непрерывных распределений.
Здесь ставится вопрос о том, когда плотности распределения нормированных сумм сходятся к плотности нормального распределения, если соответствующие функции распределения сходятся к нормальной.
Оказывается, что для случая одинаково распределенных независимых слагаемых с конечной дисперсией достаточным является условие интегрируемости плотности слагаемых в какой-либо степени 5 > 1.
Если отказаться от этого условия, то легко указать примеры случайных величин, имеющих плотности распределения вероятностей и принимающих значения только в ограниченном интервале, но для которых локальная теорема не имеет места (см. монографию Б.В. Гнеденко и А.Н. Колмогорова) .
Упражнения1. Доказать,что при п^ =Упражнения1. Доказать,что при п^ =
Упражнения
1. Доказать,что при п^ =
Упражнения
1. Доказать,что при п^ =
263263Упражнения
263
263
Указание. Применить теорему Ляпунова к распределению х2 ■ 2. Случайные величины
{
— па с вероятностью 0,5,
+па с вероятностью 0,5
независимы. Доказать, что при а > —0,5 к ним применима теорема Ляпунова.
Доказать, что при п -» ”
1I1Iп пк е~” S — fc=0^
1
I
1
I
Указание. Применить теорему Ляпунова к сумме случайных величин с параметром X = 1.
Вероятность появления события А в z-м испытании равна р{, и - число появлений события А в п независимых испытаниях. Доказать, что
тогда и только тогда, когда Z р^; = ”.
Доказать, что в условиях предыдущей задачи требование 5 Р,Ч, = “ достаточ- /=1
но не только для интегральной, но и для локальной теоремы.
ГЛАВА 9
ТЕОРИЯ БЕЗГРАНИЧНО ДЕЛИМЫХ
ЗАКОНОВ РАСПРЕДЕЛЕНИЯ
Долгое время центральной задачей теории вероятностей считали отыскание наиболее общих условий, при выполнении которых функции распределения сумм независимых случайных величин сходятся к нормальному закону. Весьма общие условия, достаточные для этой сходимости, были найдены, как мы говорили об этом в главе 8, А.М. Ляпуновым.
Попытки расширить условия Ляпунова увенчались успехом лишь в тридцатые годы, когда были найдены условия, являющиеся не только достаточными, но и, при весьма естественных ограничениях, необходимыми.
Параллельно с завершением классической проблематики возникло и развилось новое направление в теории предельных теорем для сумм независимых случайных величин, тесно связанное с возникновением и развитием теории стохастических (случайных) процессов. В первую очередь возник вопрос о том, какие законы, помимо нормального закона, могут быть предельными для сумм независимых случайных величин.
Оказалось, что класс предельных законов далеко не исчерпывается нормальным законом. Затем возник вопрос об определении условий, которые следует наложить на слагаемые, чтобы функции распределения сумм сходились к тому или иному предельному закону.
В настоящей главе мы ставим своей целью изложение некоторых исследований, посвященных предельным теоремам для сумм независимых случайных величин. При этом мы ограничиваемся случаем, когда слагаемые имеют конечные дисперсии. Рассмотрение задачи без этого ограничения требует более громоздких вычислений; для ознакомления с ее решением мы отсылаем читателя к упоминавшейся монографии Гнеденко и Колмогорова. В качестве простого следствия излагаемых нами общих теорем мы получим упомянутое нами необходимое и достаточное условие сходимости функций распределения сумм к нормальному закону.
Последний параграф главы посвящен новому направлению исследований - предельным теоремам для сумм случайного числа случайных слагаемых.
§ 42. Безгранично делимые законы и их Основные свойства
Закон Ф(х) называется безгранично делимым, если при любом и его характеристическая функция является и-й степенью некоторой другой характеристической функции.
Исследования последних лет показали, что безгранично делимые законы играют значительную роль в различных вопросах теории вероятностей. В частности, оказалось, что класс предельных законов для сумм независимых случайных величин совпадает с классом безгранично делимых законов.
Мы перейдем теперь к изложению необходимых нам для дальнейшего свойств безгранично-делимых законов. Это изложение мы начнем с доказательства того, что законы нормальный и Пуассона безгранично делимы. Действительно, характеристическая функция нормального закона, имеющего математическое ожидание а и дисперсию а2 , равна
^(0 = е 2
При любом п корень и-й степени из ^(0 есть снова характеристическая функция нормального закона, только с математическим ожиданием а/п и дисперсией а2 /п.
Мы несколько обобщим встречавшееся ранее понятие закона Пуассона и скажем, что случайная величина 5 распределена по закону Пуассона, если она может принимать только значения ак + Ь, где а и b - вещественные постоянные, а к = 0, 1,2, . . . и
е~КХк
Р^ = ак + 1Л = , (1)
где X - положительное постоянное. Характеристическая функция для закона (1), как легко подсчитать, дается формулой
^(0 = еМе^-1)Ы&Г.
Мы видим, что при любом п корень и-й степени из ^(г) есть снова характеристическая функция закона Пуассона, но с другими параметрами:
X 1
а, — и — Ь. п п Теорема 1. Характеристическая функция безгранично делимого
закона не обращается в нуль.
Доказательство. Пусть Ф(х) — безгранично делимый закон и ^(0 - его характеристическая функция. Тогда, по определению, при любом и мы имеем равенство
1(0 = (МОГ,(2)
где ^«(z) — некоторая характеристическая функция. В силу непрерывности функции ф (г) существует область значений аргумента | z J < а, в которой ф (г) # 0; понятно, что в этой же области <^п 0) ^ 0- При достаточно большом н мы можем величину | <p„(z)| = V I Ч? (01 сделать сколь угодно близкой к единице равномерно по Z (1 z| < а).
Возьмем теперь, две взаимно независимые случайные величины т?, и т?2, распределенные по некоторому закону F(x), и рассмотрим их разность р = r?i — ??2 • Характеристическая функция величины т? равна
/От^Ме7^1-42^ |_Ме'ГпЧ2 = 1У(012-
Мы видим, таким образом, что квадрат модуля любой характеристической функции является характеристической функцией.
Далее, так как вещественная характеристическая функция имеет вид У (г) = / cosxZcZF(x) ,
то, следовательно, мы можем написать неравенство
1 - У(2z) = /(1 - cos2xt)dF(x) = 2/sin2xz dF(x) =
= 2/(1 — co$xz)(l + cosxZ) JF(x)< 4/(1 — cosxZ)dF(x) = 4(1 — y(z)).
Из сказанного мы видим, что функция |^и(г)12 удовлетворяет неравенству
1 — |y>„(2z)|2 < 4(1 — | y>„(z)|2).
Из этого неравенства следует,что если н столь велико, что 1 — jy>„(z)| < < е при | z| < а, то в той же области
1 - l^(2z)^ 1 - W2z)|2 < 4(1 -]^(Z)|2)< 8(1 -^„(Z)D< 8e.
Итак, в области 1Z | < 2а
1 - I Уп(01< 8е.
Таким образом, при достаточно больших и в области j zj < la, ^„(t), а вместе с тем и у> (z) в нуль не обращаются.
Подобным же способом мы докажем, что ^ (z) ^ 0 в области 1Z] < 4а, итд.
Это доказывает нашу теорему.
Теорема 2. Функция распределения суммы независимых случайных величин, имеющих безгранично делимые функции распределения, также безгранично делима.
Доказательство. Очевидно, что для доказательства теоремы достаточно ограничиться случаем двух слагаемых. Если y(z) и ^(z) — характеристические функции слагаемых, то по условию теоремы
при любом и имеем:
‘ХО^ЫОГ. tK0=U-nW\
где ^„(f) и фп0) — характеристические функции. Поэтому характеристическая функция суммы при любом и удовлетворяет равенству
Х(?) = ^(01^/(0 = { ^„(/) • МО)" •
Теорема 3. Функция распределения, предельная (в смысле сходимости в основном) для последовательности безгранично делимых функций распределения, сама является безгранично делимой.
Доказательство. Пусть последовательность Ф^ (х) безгранично делимых функций распределения сходится в основном к функции распределения Ф(х). Тогда
lim ^40 = ^0(3)
к
равномерно в каждом конечном интервале t. По условию теоремы при любом п функции (под V понимается его главное значение)
^kW №Чп(4)
являются характеристическими функциями. Из (3) заключаем, что при каждом п
Ит ^кЧ0 = Фп (0 •(5)
Из непрерывности <р„к\0 следует непрерывность <pn(,t). В силу предельной теоремы для характеристических функций, vpn(t) есть характеристическая функция. Из (3), (4) и (5) находим, что при каждом п имеет место равенство
что и требовалось доказать.
Каноническое представление безгранично делимых законов
В дальнейшем мы ограничимся изучением безгранично делимых законов с конечной дисперсией. Целью настоящего параграфа является доказательство следующей теоремы, найденной в 1932 г. А.Н. Колмогоровым и дающей полную характеристику интересующего нас класса законов распределения.
Теорема 4. Для того чтобы' функция распределения Ф(х) с конечной дисперсией была безгранично делимой, необходимо и достаточно, что-
бы логарифм ее характеристической функции имел вид
lni(/) = /7 г + J keltx - 1 - itx^ -— dG(x) ,(1)
x
где у - вещественная постоянная, a G(x) — неубывающая функция ограниченной вариации. При х = 0 подынтегральная функция считается равной - t2/2.
Доказательство. Предположим сначала, что Ф(х) — безгранично делимый закон и ^(f) — его характеристическая функция. Тогда при любом п
1(0 = {ЫО}",
где ^„(?) — некоторая характеристическая функция. Так как ^(г) ФО, то это равенство эквивалентно следующему ):
ln^(/) = Hln^„(f) = nln[l *ц)п(,^ - 1)] •
Каково бы ни было Т, при и^°° равномерно в интервале |f|< Т
^nW 1,
поэтому в любом конечном интервале значений t величина | <pn(t) — 1| может быть сделана меньше любого, наперед заданного числа, лишь бы п было достаточно велико. Мы можем, следовательно, воспользоваться равенством
1п[1 +(^„(0 - 1] = W0- 1)(1 + о(1)),
которое дает:
1п^(/)= lim п(фпиО 0 = Пт nj(e1,x- 1)ДФ„(х),(2)
где Ф„(х) - функция распределения, имеющая ф„(/) своей характеристической функцией. Из определения математического ожидания и связи между функциями Ф„(х) и Ф(х) следует,что
п Jxd<t>„(x) = /хс/Ф(х).
Обозначим эту величину через у: тогда равенство (2) мы можем переписать в следующем виде:
ln^(/) = /7/+ lim nJWtx 1 itxAd^^xY
Положим теперь
Gn(x) = nJ u2d»n^.
Очевидно, что функции G„(x) не убывают с возрастанием аргумента и G„(—°°) = 0. Кроме того, функции G„(x) ограничены в совокупности. Последнее утверждение вытекает из свойств дисперсии и связи между функциями Ф(х) и Фп(х). Действительно,
Gn^°o) = nJu2dФn(u') =
= н[/ЛФДы) (,М>^^ л пЦиВФ^и))2 = а2 + -у2,(3)
7п
где о — дисперсия закона Ф(х).
В новых обозначениях (см. свойство 6 интеграла Стилтьеса в § 22)
lgl(0 = zy? + lim f(e,tx - 1 - itx) — dGn^ .
И-»о=x
Согласно первой теореме Хелли, из последовательности функций G„(x) можно выбрать подпоследовательность, сходящуюся к некоторой предельной функции G (х) . Если А < 0 и В > 0 являются точками непрерывности функций G (х), то в силу второй теоремы Хелли при к -* °°
J (eitx - 1 -itx) ~dGn (x)-^f (eitx - 1 - itx) ^dG)x).(4)
ax2 k ax2
Мы знаем, что
| enx - 1 - itx | < | e’tx - - 11 + | Zx | < | tx | + | tx | = 2 |t1 • |x |,
поэтому
<2|z|(/ + J dG (x)) <( J + $ dG (x)) <
—~В |x| kI -~ В K
ГГmax JdGn (x),K/c<” Kmax JdGn (x),K/c<” K
Г
Г
max JdGn (x),
K/c<” K
max JdGn (x),
K/c<” K
где Г = min(|A|, BY Так как вариации функций G„^(u) равномерно ограничены, то, каково бы ни было е > 0, мы можем, выбирая А и В достаточно большими, добиться выполнения неравенства
(5)(5)л оо1I е
(5)
(5)
J + f (eltx - 1 - z7x) — dGn (x) < -
вx2 k 12
для всех t, заключенных в каком-либо конечном интервале, и для всех к.
Из (4) и (5) следует, что, каково бы ни было е > 0, для всех t, заключенных в произвольном конечном интервале, при достаточно больших п имеет место неравенство
| $)eltx - 1 - Их) -^- dG„k(x) - J(eiTX - 1 - itx) -^ dG(x) | < e,
т.е., иными словами,
1.1
lim^/(e'fx - 1 - itx) — dGn (x) = f(e"x - 1 - itx) —- dG(x).
k->°°x kx
Мы доказали, таким образом, что логарифм характеристической функции любого безгранично делимого закона может быть записан в виде (1). Нам предстоит теперь доказать обратное предложение, что всякая функция, логарифм которой представим по формуле (1), является характеристической функцией некоторого безгранично делимого закона.
Для любого е (0 < е < 1) интеграл
/ (e,tx _ 1 _ itx) — dG(x)(6)
ех2
по определению интеграла Стилтьеса является пределом сумм
2 ketXs - \ - Uxs)^ (G(x$+,) — G(x^)),
S=1xs
где x, = e, xn+1 = 1/e, xs < x, < xs + 1, и max(xs+1 - xs) -> 0. Каждое слагаемое этой суммы является логарифмом характеристической функции некоторого закона Пуассона. Согласно теоремам 2 и 3 интеграл (6) является логарифмом характеристической функции некоторого безгранично делимого закона. Переходя к пределу при е -* 0, мы убеждаемся, что то же самое имеет место для интеграла
/ (eitx - 1 -itx)^—dG(x).(7)
х>0X
Подобным же образом доказываем, что интеграл
J (е”х - 1 -itx)—- dG(x)(8)
х<0X
есть логарифм характеристической функции некоторого безгранично делимого закона. Интеграл, стоящий в правой части формулы (1), равен сумме интегралов (7) и (8) и величины
/7Z-1 z2 (G (+0) - G (—0) ).
Последнее слмаемое есть логарифм характеристической функции нормального закона. Из теоремы 2 следует, что функция ^ (г), представимая формулой (1), является характеристической функцией некоторого безгранично делимого закона). Нам остается теперь убедиться, что представление 1п^(г) формулой (1) единственно, т.е-что функция G(x) и постоянное 7 однозначно определяются заданием I (О •
Путем дифференцирования формулы (1) находим, что
(9)(9)с/2
(9)
(9)
— 1п^(0= -Je dGW dr
Из теории характеристических функций мы знаем, что функция G(x)
доказательства теоремы мы видели, что постоянное у является математическим ожиданием и, значит, так же однозначно определяется посредством функции ф (г).
Отметим, наконец, вероятностный смысл полной вариации функции G(x). Мы знаем, что если случайная величина g распределена по закону Ф(х),то (см. (6) § 33)
D^ =— ln^(r)
\_dt
из (9), следовательно, вытекает, что
Щ = JdG(x) = G(+=).
В качестве примеров мы приведем каноническое представление норма 'ь- ного закона и закона Пуассона.
Для нормального закона с дисперсией о2 и математическим ожиданием а
7 = а и G (х) =
О для х < О,
о2 для х > 0.
Действительно, эта функция и постоянное у приводят к данному закону, так как
.1
J Veltx - 1 - to}— tZG(x) =
х
e'tu - 1 - itut2o2
= lim[G (+0) — G(—0)] =— .
и
а в силу единственности канонического представления другие функции
G(x) не могут дать нормального закона.
Подобным же способом легко убедиться, что закону Пуассона с характеристической функцией
^) = еХ(^-1)+/ЙГ
соответствует функция G(x) с единственным скачком в точке а-.
( 0 при х < а,
I а Л при х>а
и у = b + аХ.
Предельная теорема для безгранично делимых законов
Мы уже знаем, что если последовательность безгранично делимых законов распределения сходится к предельному закону распределения, то этот предельный закон сам является безгранично делимым. Теперь мы укажем условия, при выполнении которых данная последовательность безгранично делимых функций распределения будет сходиться к предельной.
Теорема 5. Для того чтобы последовательность {Ф„(х)} безгранично делимых функций распределения сходилась при п -* 00 к некоторой функции распределения Ф(х) и дисперсии их сходились к дисперсии предельного закона, необходимо и достаточно, чтобы существовали такие постоянное 7 и функция G (.г). для которых при п
1) Gn (х) сходится в основном к G (х) (— °° < х < + °°).
-) G,7(°°)->G(=),
3) 7„ ^7.
где 7„ и G„(x) определяются формулой (1) §43 для закона Ф„(х), а постоянное 7 и функция G(x) определяют по той же формуле предельный закон Ф(х)..
Доказательство. Достаточность условий теоремы является непосредственным следствием второй теоремы Хелли. Действительно, из
условий теоремы и формулы (1) §43 следует, что при п -* °°
М'НМО
равномерно в каждом конечном интервале t.
' В предыдущем параграфе мы видели, что интегралы
fdC.^u) и JdG(u)
равны дисперсиям законов Ф„(х) и Ф(х); поэтому второе условие теоремы есть не что иное, как требование сходимости дисперсий.
Пусть теперь нам известно, что при н 00
Ф„(х)->Ф(х)(1)
и дисперсии законов Ф„(х) сходятся к дисперсии предельного закона Ф (х). Мы докажем, что эти требования влекут за собой выполнение условий теоремы. В отношении условия 2, как мы только что заметили, это не требует дополнительных рассуждений. Отсюда следует, что полные вариации функций Gn(u) ограничены в совокупности. Мы можем, следовательно, воспользоваться первой теоремой Хелли и из последовательности функций Gn(u) выбрать подпоследовательность Сп^и), сходящуюся при Л ->°° к некоторой предельной функции G^ (и). Наша цель состоит в том, чтобы доказать равенство
Gao (и) = G(и).
Для этого установим сначала, что
Jk = fU‘tu - 1 -itiA — dGn (и) ->
J« = J U!tu - V - itu^—dGoo(u)(2)
и
при Л -»°°. Пусть A < 0 и В > 0 — точки непрерывности функций G» (и); тогда по второй теореме Хелли при к -> °°
5.1в|
/ {е,г“ - 1 - /щ}— dG„ (u)^f {eiru - 1 -itu}—-dG^u).(3)
aiG k ai?
С другой стороны, из неравенства
I eltx - 1 - />х | < 2 | tx |
мы ВИДИМ, что
Lк = I I + J Wtu - 1 -itu^ — dG„ (и) I <
—= ви2
—” в |
21/1 л „2|r|
< — ( f + f dG„k^) < -—JdGnk(u), 2вГ
где Г = ш1п(-Л, В). В силу ограниченности вариаций функций Gn(u) в совокупности дия любого е > 0 можно подобрать столь большие по абсолютной величине А и В, что
Lk < е.(4)
Точно так же при любом е > 0 .для достаточно больших по абсолютной величине Л и В имеет место неравенство
J +f UItu - 1 -itu\ — асдий < е.(5)
—=ви
Из соотношений (3), (4) и (5) выводим, что, каково бы ни было € > О, при достаточно больших значениях к
Jk -J«\< Зе.
Соотношение (2), таким образом, доказано. Из (1) видим, что
lim 1п^п(/) = iim U^t * f{e'tu - 1 -itu} — dGn(u^ =
n-**1n-*00U
= In ^(/) =/фг+J {?"’" - 1 -itu^— dG(u),
и
или
lim кЙпк + Не,ш - 1 -ituA — dGn^u'y) =
п -**>tU
= fy + JVeUu - 1 -/to)—- dG(u).(6)
tu
Из неравенства
i|eir“ — 1 — zZm | ^ 12и2Ц
и ограниченности в совокупности полных вариаций функций G„k(u^
заключаем, что при 7 О
I _ 1 _ /ш) — dGЛи) | < | tKeitu - 1 - Ни) ~— dG(u) | -* О
tu кt и
равномерно по и. Поэтому при t -*0 (6) дает:
lim7«fc = 7,(7)
а, с другой стороны, по (2) и (7)
.1
ln^(/) = vyt + / (e'uf - 1 - iut)— dG„(u).
и
В силу единственности представления безгранично делимых законов формулой (1) § 43 мы заключаем, что 0= (и) = G(u). Итак, любая сходящаяся подпоследовательность функций G„k(u) сходится к функции G(u) и одновременно постоянные 7„fe сходятся к 7. Теперь легко доказать, что вся последовательность Gn(u) также сходится к G^u) и, значит, одновременно lim 7„ = 7. Если бы это было не так, то нашлась бы точка непрерывности функций G(w), назовем ее с, и подпоследовательность функций G„k(u), которая в точке и = с при к ->°° сходится к числу, отличному от G(c). По первой теореме Хелли мы можем из этой подпоследовательности выбрать сходящуюся подпоследовательность Gnkr(u).
Из предыдущего следует, что во всех точках непрерывности функции G(u)
lim СпкДи) = G(u).
Это противоречит сделанному нами допущению. Таким образом, во всех точках непрерывности функции G (и)
lim G'n(u)~ G(u) ; И -*ОО
как мы видели, отсюда немедленно следует, что
Jim 7„ = 7.
Теорема доказана.
§ 45. Постановка задачи о предельных теоремах для сумм
Дана последовательность серий
£ii, £i г - • • ■ - £1^, >
(1)(1)£21, £22 , • • • , £2/с2 ,
(1)
(1)
£nl ’^и2’ • • ' ’ £ики>
независимых в каждой серии случайных величин. Спрашивается, к каким предельным функциям распределения могут сходиться функции распределения сумм
?« ~ £« 1 + £«2 + • • ■+ £иа„
при и ->°° и каковы условия этой сходимости?
В дальнейшем мы ограничимся изучением элементарных систем, т.е. последовательностей серий (1), для которых выполнены следующие условия:
величины ^пк имеют конечные дисперсии,
дисперсии сумм t„ ограничены не зависящей от п константой С, 3) Рп = max D£n/c">0 при и-*°°.
Последнее требование означает, что влияние отдельных слагаемых на сумму становится все меньше и меньше с возрастанием п.
Рассмотренные нами ранее предельные теоремы для сумм, очевидно, укладываются в эту общую схему. Так, в теоремах Муавра—Лапласа и Липунова мы имели следующую последовательность серий:
£n 1 ’ ^и2 ’ * ' • ’ £пп’
где
(1 < к < п; и = 1,2, . . . ).
В теоремах Бернулли, Чебышева и Маркова о законе больших чисел мы также имели дело с последовательностью серий, в которых в качестве ^пк взяты величины
£* - ^к
46. Предельные теоремы для сумм
Пусть имеется элементарная система; обозначим через Fnk(x) функцию распределения случайной величины £пк и через Fnk^ — функцию распределения величины £пк = ^пк — M£,Jfc; очевидно, что
г пк^) Fnk(x+M^nk).
(1)(1)Теорема 6. Для того чтобы функции распределения сумм
(1)
(1)
S п ^n 1 ^ ^п 2 ^ ' " " ^ ^-п к п
^nW £ VitM^nk + f(ei,x V)dFnk(x)V^nW £ VitM^nk + f(ei,x V)dFnk(x)V(2)(2)при п "> 00 сходились к предельной функции распределения, необходимо и достаточно, чтобы к предельному закону сходились безгранично делимые законы, логарифмы характеристических функций которых определяются формулой
^nW £ VitM^nk + f(ei,x V)dFnk(x)V
^nW £ VitM^nk + f(ei,x V)dFnk(x)V
(2)
(2)
k 1
Предельные законы для обеих последовательностей совпадают.
Доказательство. Характеристическая функция суммы (1) равна k п
knit L ME t кп
f„<0= Hf^e k^ П fnk(0,(3)
1
где fnk (Z) - характеристическая функция случайной величины £пк, а fnk 0) — характеристическая функция величины ^пк.
Мы знаем, что для сходимости функций распределения сумм (1) к предельной Ф(х) необходимо и достаточно, чтобы при п -* °°
f.AO^^UF
где ^(z) - непрерывная функция; ^(z) при этом оказывается характеристической функцией закона Ф(х).
• Если ввести обозначения
спип = X ( V2db,lkUI к I —
и заметить.что fxdb'nklx) - 0. ю функции v (t) могут быть записаны в виде
^п1') " Zy,/+ Дс”“ 1 inA \ d(i„Uty
Как мы знаем, это означает, что ^пб) является логарифмом характеристической функции некоторого без^аиично делимого закона.
Отметим, что дисперсии ? и безгранично делимых законов (2) совпадают.
Положим
^пк ~ fnk^^ — ^‘
Для величин Дк равномерно в каждом конечном интервале t
ап= max \апкН0.(4)
К к<кп
Действительно,
“пк=Деих - 1)б/Дик(х) = J(e'fx - 1 - itx)dF„k(x),
так как
М£„^ - fxdF„k(x)-0.
Мы знаем, что при всех вещественных а
| с'" - 1 - /а | < а2/2;
поэтому
1апк1< у Jx2dFnk(x)=^nk.(5)
Из (5) и третьего условия элементарности системы следует (4).
Из (4) мы прежде всего выводим, что при любом Т мы можем считать, что для достаточно больших п и |/| СТ
Ia„fc|< 1/2.(6)
В силу этого мы можем воспользоваться разложением логарифма в ряд
„<х„ка„к
In fn к (О ~ 1П <1 + ^пк) ~ ^пк ”~. . . ~ ^пк + fnk ■
Очевидно, что
^и=|1п/и(г)- S U + M^nk + амк)\ = | S 04*17)-а„*)| < п = Iп - 1
k=i n=i $2fc=il—|аик|
Формулы (5) и (6) приводят к неравенству
^пQp
Rn С max | апк | 2 | апк | < — шах | а„к |.
Кк<кп к = 12 Кк<кп
В силу (4) мы заключаем, что равномерно в каждом конечном интервале t при И -* о°
|lnf„(z)-^„(/)I^O.(8)
Таким образом, мы установили, что в каждой элементарной системе функции распределения сумм ^п и безгранично делимые функции распределения, определяемые формулой (2), неограниченно сближаются при п -*°°, чем собственно теорема 6 и доказана.
Доказанная теорема позволяет заменять исследование сумм (1) случайных величин с функциями распределения, вообще говоря, произвольными исследованием безгранично делимых законов. Последнее, как мы увидим, во многих случаях оказывается весьма простым.
Теорема 7. Всякий закон распределения, предельный для функций распределения сумм элементарной системы, является безгранично делимым с конечной дисперсией и, обратно, каждый безгранично делимый закон с конечной дисперсией является предельным для функций распределения сумм некоторой элементарной системы.
Доказательство. Из предыдущей теоремы мы знаем, что предельный закон для функций распределения сумм (1) является предельным для безгранично делимых законов и, значит, по теореме 3 является безгранично делимым; его дисперсия конечна, так как дисперсии сумм по второму условию элементарности системы ограничены в совокупности. Обратное предложение, что каждый безгранично делимый закон с конечной дисперсией является предельным для сумм, немедленно вытекает из определения безгранично делимых законов.
Теорема 8. Для того чтобы функции распределения сумм (1) при и -»■ °° сходились к какой-нибудь предельной функции распределения и их дисперсии сходились к дисперсии предельного закона, необходимо и достаточно, чтобы существовали такие функция G (и) и постоянное 7, что при п -*°°
О 2 / x2dFnjt(x)^G(u)
* = 1 —
з точках непрерывности функций G(u)
£
X JxdFnkix^-y.
,fc = i
Логарифм характеристической функции предельного закона определяется формулой (1) § 43 с только что определенными функцией <7(и) и постоянной 7.
Доказательство. Если ввести обозначения
СДи^ 5 / x1dFnk(x)■
к = 1 —00
И
Чп = 2 JxdFnk(x3, k = l
то мы придем к условиям теоремы 5. Теорема этим доказана.
Несколько видоизменив формулировку последней теоремы, мы можем получить не только условия существования предельного закона, но также и условия сходимости к каждому данному предельному закону.
Теорема 9. Для того чтобы функции распределения сумм (1) при п -*°° сходились к данной функции распределения Ф(х) и дисперсии сумм сходились к дисперсии предельного закона, необходимо и достаточно, чтобы при п -*°° выполнялись следующие условия1.
^п и
S J x^dFnk<x^-*G^
k = 1 —°®
в точках непрерывности функции G(u) кп _
S Jx2dFnk(x)-*G(«),
kn
S JxdFnk(xV,y, k= 1
где функции G(u) и постоянное у определяются формулой (1) § 43 для функции Ф(х).
47. Условия сходимости к законам
нормальному и Пуассона
Мы применим результаты предыдущего параграфа к выводу условий сходимости функций распределения сумм к законам нормальному и Пуассона.
(1)(1)Теорема 10. Пусть дана элементарная система независимых случайных величин. Для того чтобы функции распределения сумм
(1)
(1)
при п-*^ сходились к закону
Ф(х)= / е хг1гйх,
x/Fn
необходимо и достаточно, чтобы при п 00 были выполнены условия к п
2 JxdFnk(x)^0,
£/ xdF„k(x)^0.
к = 1 |х 1>т кп
5/ x2dFnk(x) -> 1.
к = 1 |х | <т
где т - любая положительная постоянная.
Доказательство. Из теоремы 9 следует, что искомые условия состоят в выполнении при n->°° соотношений кп
2 JxdFnk(xV0, к = 1
О для1 ДЛЯО для1 ДЛЯи < О, и > О,и < О, и > О,^п и _
О для
1 ДЛЯ
О для
1 ДЛЯ
и < О, и > О,
и < О, и > О,
2 J x2dFnk(x)^ к = 1 —°0
2 fx2dFnk(x)^ 1. к = 1
Первое из них совпадает с первым условием теоремы, равносильность двух остальных второму и третьему условиям теоремы очевидна.
(2)(2)(3)(3)Особенно простую форму эта теорема принимает, если элементарная система, рассматриваемая нами, нормирована заранее условиями
(2)
(2)
(3)
(3)
В качестве другого примера использования общих теорем предыдущего параграфа мы рассмотрим сходимость функций распределения элементарных систем к закону Пуассона
Р(х) =Р(х) =ОS0< к<хОS0< к<хе А — к'.е А — к'.для х < О,для х < О,для х > 0.для х > 0.(4)(4)
Р(х) =
Р(х) =
О
S0< к<х
О
S0< к<х
е А — к'.
е А — к'.
для х < О,
для х < О,
для х > 0.
для х > 0.
(4)
(4)
Если § — случайная величина, распределенная по закону (4),то,как мы знаем М£ = D£ = X.
Мы ограничимся элементарными системами, для которых
(5)(5)к = 1
(5)
(5)
кп
2 D?„k-X. к = 1 '
Теорема 12. Пусть дана элементарная система, подчиненная условиям (5). Функции распределения сумм
Гл = £л1+5„2 + -. +^„
тогда и только тогда сходятся к закону (4), когда при любом т > 0
2 f x2dFnk(x+Щпк)^0(п-*«=у
k = l |х —1 |>т
Доказательство этой теоремы мы предоставляем читателю.
В § 13 нами была доказана теорема Пуассона. Легко убедиться, что при прп = X она является частным случаем только что доказанного предложения. Действительно, пусть ^пк (1 < к < п) есть случайная величина, принимающая значения 0 или 1 в зависимости от того, появится или не появится при к-м испытании п-й серии наблюдаемое нами событие А. При этом
P(U=1} = - и Р{?лк=0} = 1--- пп
Очевидно, что сумма
Ип=^п1 +^2 + - - + ^Я
представляет собой число появлений события А в n-й серии испытаний. ■ Согласно теореме Пуассона функции распределения величин р „ при и -»°° сходятся к закону Пуассона (4). Этот результат следует и из только что сформулированной теоремы, так как все ее требования в данном случае выполнены.
Общие теоремы о сближении функций распределения сумм (1) с некоторыми безгранично-делимыми функциями распределения, доказанные в более широких, чем у нас, предположениях, позволяют также получить необходимое и достаточное условие для закона больших чисел (в случае независимых слагаемых). См. об этом уже упоминавшуюся монографию Б .В. Гнеденко и А.Н. Колмогорова.
§ 48. Суммирование независимых случайных величин
в случайном числе
В разнообразных задачах практики приходится сталкиваться с задачей суммирования случайных величин не в заранее заданном, а в случайном числе. Приведем примеры.
За смену в магазин приходит случайное число покупателей и сумма, на которую каждый из них делает покупки, также случайна. Выручка магазина за смену является суммой случайного числа случайных слагаемых. Заметим, что число покупателей и суммы, которые они оставляют в магазине, представляют собой независимые случайные величины.
Возвратимся к задаче, рассмотренной в § 38. Там речь шла о длительности безотказной работы дублированной системы с восстановлением. Внимательно разберемся в структуре величины С — длительности безотказной работы резервированной системы. Заметим, что ( в зависимости от случая может принимать различные значения, а именно:
£ = £ i + ^2 ~ сумма времен безотказной работы основного и резервного элементов, если г^ > £2 (восстановление основного элемента продолжалось дольше, чем проработал резервный элемент);
f = 51 + £2 + £з, если т?! < £2 > но т?2 > £3, т.е.восстановленный основной элемент проработал меньше, чем длился ремонт резервного элемента;
вообще при и > 2 будет £ = £ i + £2 + ... + ^п с вероятностью ал~2 (1—а) (первые и — 2 раз элемент восстанавливался прежде, чем работающий элемент отказывал, в последний же раз ремонт занял больше времени, чем проработал вступивший в работу элемент).
Мы вновь видим, что длительность безотказной работы дублированной системы с восстановлением представляет собой сумму независимых случайных величин в случайном числе. Число слагаемых не зависит от значений, принимаемых слагаемыми и распределено по геометрическому закону.
Теорема о сходимости к показательному распределению после только что сделанного замечания должна нами восприниматься как предельная теорема о сходимости функции распределения последовательных сумм случайного числа случайных слагаемых. Вот какую формулировку ей следует придать.
Т е о р е м а. Пусть случайные величины последовательности {£„} независимы, одинаково распределены с функцией распределения F (х)
и математическим ожиданием а > 0. Пусть, далее, {г„} - последовательность целочисленных случайных величин, причем рп имеет геометрическое распределение с параметром ап: Р{г„ = к\ =(1 — «„) а ^ \ Если ап -> 1, то функции распределения сумм
^п = £i + £2 + • ■ • + ^п
сходятся к показательному распределению.
Рассмотрим следующую задачу: счетчик Гейгера (см. задачу 4, § 8) начинает свою работу в момент времени 0. Найти время его работы до первого пропуска частицы. Мы сейчас несколько обобщим условия задачи по сравнению с тем как она была поставлена в гл. 1. Предположим, что промежутки времени ^ между поступлениями последовательных частиц в счетчик независимы и имеют распределение F(x). Длительность разряда, вызываемого зарегистрированной частицей является случайной величиной rik с распределением G(x). Все рассматриваемые и только что упомянутые величины независимы между собой.
Обозначим через £„ длительность искомого промежутка времени. Легко подсчитать, что $п = g ] + £2 + ••• + ^р > гДе г — случайная величина, независимая от ^к и распределенная геометрически.
Рассмотрим теперь последовательность ^пк} независимых и одинаково распределенных при каждом п случайных величин. Введем обозначения
Л.00 = ?U»k < *}, /Л(О = J e‘"txdF„(x),
Рассмотрим далее неограниченно возрастающую последовательность целых положительных чисел {/:„} и последовательность (г„) целочисленных положительных случайных величин, которые обладают тем свойством, что при каждом п величины v п независимы от ^пк, 1 < к < °°.
Наша цель состоит в выяснении условий, при которых сходимость функций распределения сумм (при п -»оо)
кп
хп —^ ^п к
к = 1
влечет за собой сходимость функций распределения сумм (и->оо)
к = 1
Предложение, которое сейчас будет доказано, носит название теоремы переноса.
Теорема переноса. Если при п
А) Р { 2 ^пк < х } -* Ф(х)
к = 1
U
vn 1
Б) Р< х Л(х)
(причем будем считать, что А(+ 0) = 0.), то
Р{ 2 $пк < х} -> Ф(х). к = 1
Функция распределения Ф(х) определяется через свою характеристическую функцию ф(?) посредством формулы
ФО) = I МО A(z), о
где ^ (?) — характеристическая функция для Ф (х).
vn
Доказательство. Характеристическая функция суммы 2 ^кп к = 1 равна
Фп(О = 2 р^МОУ, / = 0
где pni = Р{р„ = /}.
Положим Ап(х) =P(f„< х}; тогда очевидно, что
'МО = / fn(t)dAn(xY о
Пусть теперь
тогда
ФЛО = ИГиЧО^АЛ^. о
В математическом анализе известна теорема ), согласно которой, если последовательность равностепенно ограниченных непрерывных функций fn (х) сходится к функции /(х) во всех точках прямой, а монотонные ограниченные функции АДх) при всех х сходятся к функции А(х), то при л ->°°
JV„(x)M,(x) f /(x)dA(x).
оо
В силу этой теоремы и условий А) и В) теоремы переноса при л -*00
^(П-> Ф(О = J^UW^). о
Теорема доказана.
Укажем теперь некоторые следствия из теоремы переноса.
Следствие 1. Пусть функция Ф(х) - безгранично делима и ф (?) — ее характеристическая функция; тогда функция
1
Ф(г) =
1 -in^CO
является также характеристической (и, как позднее будет показано, также безгранично делимой).
Действительно, мы знаем, что для любой безгранично делимой функции Ф (х) можно найти такую последовательность { кп } и независимых величин ^пк > что выполняется условие А) теоремы переноса. Выберем теперь такие vn, чтобы Л(х) = 1 — е -х. Это можно сделать многими способами, например, выбрав vn распределенными геометрически с соответственным значением параметра. Этим самым выполнено и условие Б) теоремы переноса.
Тогда мы знаем, что, в силу В), функция
О = / [<XO]Z<W) = /е z<! tov(t))dz= _ по1-1п^(7)
является характеристической.
В частности, если функция Ф(х) является нормальной (^(т) = e-t ^2),
ТО ф(Т) =ТО ф(Т) =22 + т222 + т2Соответствующая ей функция распределения Ф (х) опреСоответствующая ей функция распределения Ф (х) опре
ТО ф(Т) =
ТО ф(Т) =
2
2 + т2
2
2 + т2
Соответствующая ей функция распределения Ф (х) опре
Соответствующая ей функция распределения Ф (х) опре
деляется формулой
г 0,5 ехпри х < 0,
Ф(х) =
I 1 - 0,5 е ~ х 2 при х > 0.
Обычно распределение Лапласа определяют, указывая его плотность распре
деления. В нашем случае она равна р^ = е~ 1 х 1.
Позднее мы увидим, что при Л(х) = 1 - е ~х распределение Лапласа при суммировании до случайного индекса играет такую же роль, как и нормальное распределение в классической постановке предельных теорем для сумм одинаково распределенных независимых слагаемых.
Следствие 2. Условия, при которых функции распределения сумм
^п ~~ £и 1 ^ ^«2 ^ • - • ^ %пкп
одинаково распределенных независимых слагаемых сходятся к предельному распределению Ф(х) достаточны для того, чтобы функции распределения сумм
svn = £п1 + £«2 + - • - + ^v„
сходились к распределению Ф (х).
Следствие непосредственно вытекает из теоремы переноса.
Следствие 3. Пусть {£„} — последовательность одинаково распре-
tk - a деленных независимых случайных величин и £пк = , где действи-
Вп
тельные постоянные а и Вп > 0 таковы, что функции распределения сумм
s„ = — 2 (£к — а) сходятся к Ф(х). Пусть, далее, выполнено усло- Вц к = 1
вие Б) теоремы переноса. Тогда при сделанном выборе постоянных а и Вп
функции распределения сумм sv = 2 (^ - а) также сходятся
В» k = 1
к предельной Ф(х).
Следствие непосредственно вытекает из теоремы переноса.
Заслуживает внимания то обстоятельство, что при всех возможных предельных распределениях Л(х) нормирующие множители Вп и центрирующие коэффициенты а могут быть выбраны раз и навсегда одинаковыми.
Замечание В. Ф е л л е р а. На с. 642 второго тома замечательной книги В.Феллера ’’Введение в теорию вероятностей и ее приложения” (М.: Мир, 1984) имеется такое замечание: если в формуле (1) функция 4 (х) безгранично делима, то и функция Ф (х) безгранично делима.
Доказательство этого факта вытекает из того факта, что если случайная величина v с функцией распределения А (х) представима в виде суммы v = v v + г2 независимых случайных величин vx и р2, то ф(г) = фх (z) ^(z) из определения безграничной делимости.
Упражнения
Доказать, что распределения
Паскаля (упр. 1 а к гл. 5),
Полна (упр. 16 к гл. 5),
Коши (пример 5 § 24) безгранично делимы.
Доказать, что случайная величина с плотностью распределения
Опри х < О,
Р(х) = • а хсе-1е-^"х при х > 0.
Г(а)
где а > 0, 3 > 0 - постоянные, безгранично делима.
Примечание. Отсюда, в частности, следует, что безгранично делимы распределения Максвелла и распределение х2 (при любом значении п).
Доказать, что каковы бы ни были постоянные а > 0 и /3 > 0,
является безгранично делимой .характеристической функцией.
Примечание. Отсюда, в частности, следует, что распределение Лапласа (упр. 6 к гл. 5) безгранично делимо.
Найти функцию G (х) и параметр 7 в формуле Колмогорова для логарифма безгранично делимой характеристической функции для распределений:
примера 2,
Лапласа.
Доказать, что если сумма двух независимых безгранично делимых случайных величин распределена:
по закону Пуассона,
по нормальному закону,
то каждое слагаемое распределено в случае:
по закону Пуассона,
по нормальному закону.
Найти условия сходимости функций распределения сумм случайных величин, составляющих элементарную систему, к распределению:
примера 2,
Лапласа.
10. Б.В. Гнеденко
ГЛАВА 10
ТЕОРИЯ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ
Вводные замечания
Совершенствование физической статистики, а также ряда отраслей техники, поставило перед теорией вероятностей большое число новых, не укладывающихся в рамки классической теории, задач. В то время как физика и техника интересовало изучение процесса, т. е. явления, протекающего во времени, теория вероятностей не имела ни общих приемов, ни разработанных частных схем для решения задач, возникающих при изучении таких явлений. Появилась настоятельная необходимость в разработке общей теории случайных процессов, т. е. теории, которая изучала бы случайные величины, зависящие от одного или нескольких непрерывно изменяющихся параметров.
Перечислим несколько задач, иллюстрирующих необходимость построения теории случайных процессов.
Представим себе, что мы задались целью проследить за движением какой-либо молекулы газа или жидкости. Эта молекула в случайные моменты времени сталкивается с другими молекулами и меняет при этом свои скорость и положение. Состояние молекулы, таким образом, подвержено случайным изменениям в каждый момент времени. Многие физические явления требуют для своего изучения умения вычислять вероятности того, что определенное число молекул успеет за тот или иной промежуток времени переместиться на то или иное расстояние. Так, например, если приведены в соприкосновение два газа или две жидкости, то начинается взаимное проникновение молекул одной жидкости в другую: происходит диффузия. Как быстро протекает процесс диффузии, по каким законам, когда образующаяся смесь становится практически однородной? На все эти и многие другие вопросы дает ответ статистическая теория диффузии, в основе которой лежит теория случайных процессов, или, как принято теперь говорить, теория стохастических процессов. Очевидно, что подобная же задача возникает в химии, когда изучают процесс химической реакции. Какая часть молекул уже вступила в реакцию, как реакция протекает во времени, когда практически реакция уже закончилась?
Весьма важный круг явлений протекает по принципу радиоактивного распада. Это явление состоит в том, что атомы радиоактивного вещества
распадаются, превращаясь в атомы другого элемента. Распад каждого атома происходит мгновенно, подобно взрыву, с выделением некоторого количества энергии. Многочисленные наблюдения показывают, что распад различных атомов для наблюдателя происходит в случайно взятые моменты времени. При этом расположение этих моментов времени независимо друг от друга в смысле теории вероятностей. Для изучения процесса радиоактивного распада существенно определить, какова вероятность того, что за определенный промежуток времени распадется то или иное количество атомов? Формально, если задаваться только выяснением математической картины явлений, точно так же протекают и другие явления: число вызовов, поступающих на телефонную станцию за определенный промежуток времени (загрузка телефонной станции), обрывность нитей на ватере (ватер — прядильная машина) или изменение числа частиц, находящихся в броуновском движении, оказавшихся в какой-либо момент времени в заданной области пространства. Мы дадим в этой главе простое решение тех математических задач, к которым приводят указанные явления.
К тому, с чем мы только что познакомились, добавим следующее: первые задачи физического характера, являющиеся одновременно задачами теории случайных процессов, были рассмотрены выдающимися физиками начала нашего века. Изложим сейчас вкратце, как, исходя из рассмотрения весьма схематической проблемы блуждания по прямой, Максом Планком и Фоккером было получено дифференциальное уравнение теории диффузии. Пусть частица, находящаяся в момент времени Г = 0 в точке х = 0, в моменты кт (к = 1, 2, ...) испытывает случайные толчки, в результате которых она каждый раз перемещается с вероятностью р на величину h вправо и с вероятностью q = 1 — р также на величину h влево. Обозначим через f (х, t} вероятность того, что частица в результате п толчков окажется в момент t (t = пт) в положении х (ясно, что при четном числе толчков величина х может равняться только четному числу шагов h, а при п нечетном — только нечетному числу шагов /г). Если через m обозначить число шагов, сделанных частицей вправо (соответственно п — m есть число шагов, которые частица совершила влево), то согласно формуле Бернулли
fix, Г) = Cnp q .
Ясно, что величины m, п, х и h связаны равенством
m - (н - m) = x/h.
Легко убедиться непосредственным подсчетом, что функция /(х, Z) удовлетворяет разностному уравнению
(1)(1)/(х, t + т) = р/(х -h,t} + q(x + h, t)
(1)
(1)
и начальным условиям
/(0,0) = 1, /(х,0) = 0 при х Ф 0.
Посмотрим, во что превратится написанное разностное уравнение, если заставить стремиться к 0 как й, так и т. Физическая природа заставит, оказывается, наложить на h и т некоторые ограничения. Точно также величины р и q не могут быть взяты произвольно. Несоблюдение условий, о которых пойдет речь, может привести к тому, что за конечный промежуток времени частица с вероятностью единица уйдет в бесконечность. Для того чтобы избежать такую возможность, наложим следующие требования: при й -»оо
х = ий, t = пт,х = ий, t = пт,> 2D,> 2D,ттр-q с_й D ’р-q с_й D ’(2)(2)
х = ий, t = пт,
х = ий, t = пт,
> 2D,
> 2D,
т
т
р-q с_
й D ’
р-q с_
й D ’
(2)
(2)
где с и D — некоторые постоянные. Величина с носит наименование скорости течения, a D - коэффициента диффузии.
Отнимем от обеих частей равенства (1) величину /(х, t). В результате получаем
/(х, Z + т) — /(х, г) = р [/(х - й, Г) - /(х, 0] +
(3)(3)+ q [/(х + й, г) - / (х, Г)].
(3)
(3)
Предположим, что /(х, Г) дифференцируема по t и дважды дифференцируема по х. Тогда
Э/(х, Г)
/(х, Г + т)-/(х, f) = Т—+о(т),
ot
df(x, Z) 1 . д2/(х, Z)
-f(x,0+f(x-h,0 =+
Эх2Эх2
Э/(х, Z)1.Э2/(х, Z).
f(x+h, O-f(x, Z) = й —-+о(й2).
Эх2Эх2
После подстановки этих равенств в (3) получаем
3/(х, 0 . ..dW»0
——— + о (т) = — {p—q)h —+ -—- + о (й2).
Otох 2 Эх
Отсюда, в силу соотношений (2), находим, что в пределе
9/(x,z)9/(x,z)Э2/(х, z)
= - 2 с+ D
ЭгЭхд?2
Мы получили уравнение, носящее в теории диффузии наименование уравнения Фоккера-Планка.
Интересно отметить, что при довольно искусственной постановке задачи получен физически осмысленный результат, хорошо отражающий истинную картину процесса диффузии. Позднее мы дадим вывод общих уравнений, которым подчиняются распределения для случайных процессов при весьма общих предположениях об их протекании.
Начало общей теории стохастических процессов было положено фундаментальными работами советских математиков А.Н. Колмогорова и А. Я. Хинчина в начале тридцатых годов. В статье А.Н. Колмогорова ”06 аналитических методах в теории вероятностей” было дано систематическое и строгое построение основ теории стохастических процессов без последействия или, как часто говорят, процессов марковского т и п а. В ряде работ А.Я.Хинчина была создана теория так называемых стационарных процессов.
Заметим, что прежде чем подвергнуть математическому изучению те или иные явления природы или технические процессы, нужно их схематизировать. Причина этой необходимости лежит в том, что математический анализ применим к исследованию процесса изменения некоторой системы только в том случае, если предположено, что каждое возможное состояние этой системы вполне определено посредством некоторого определенного математического аппарата. Понятно, что такая математически определимая система не есть сама действительность, но лишь схема, пригодная для ее описания. С такой картиной мы встречаемся, скажем, в механике, когда предполагаем, что реальные движения систем материальных точек полностью могут быть описаны для любого момента времени указанием этого момента времени и ее состояния в любой предыдущий момент времени t0. Иными словами, схема, которая принимается в теоретической механике для описания движения, состоит в следующем: принимается, что для любого момента времени t состояние системы у полностью определяется ее состоянием х в любой предыдущий момент времени /0- При этом под состоянием системы в механике понимается задание положения точек материальной системы и их скоростей.
Вне классической механики, собственно, во всей современной физике, приходится иметь дело с более сложным положением, когда знание состояния системы в какой-либо момент времени f0 Уже не определяет однозначно состояния системы в последующие моменты времени, а лишь определяет вероятность того, что система будет находиться в одном из состояний некоторого множества состояний системы. Если через х обозначить состояние системы в момент Го, а через Е — некоторое множество состояний системы, то для только что описанных процессов определена вероятность
P{r0, х; t, Е}
системе, находящейся в момент г0 в состоянии х, в момент t перейти в одно из состояний множества Е.
Если дополнительное знание состояний системы в моменты t < t0 не изменяет этой вероятности, то естественно назвать выделенный нами класс случайных процессов процессами без последействия или за их аналогию с цепями Маркова — процессами марковского типа.
Общее понятие случайного процесса, базирующееся на изложенной ранее аксиоматике теории вероятностей, может быть введено следующим образом. Пусть $2 — множество элементарных событий и t — непрерывный параметр. Случайным процессом называется функция двух аргументов
^t) = tp(co,0 (wGn).
Для каждого значения параметра t функция ^ ^со, t) является функцией только со и, следовательно, представляет собой случайную величину. Для каждого фиксированного значения со (т.е. для каждого заданного элементарного события) ip(w, т) зависит только от t и является, таким образом, обычной функцией одного вещественного аргумента. Каждая такая функция называется реализацией случайного процесса ^(t). На случайный процесс можно смотреть либо как на совокупность случайных величин £ (г), зависящих от параметра t, либо как на совокупность реализаций процесса § (г). Естественно, что при этом для определения случайного процесса необходимо задать вероятностную меру в пространстве реализаций процесса.
Почти вся настоящая глава будет посвящена изучению процессов без последействия и только в последнем параграфе мы дадим представление о стационарных процессах.
Процесс Пуассона
Мы начнем краткое знакомство с некоторыми фактами теории случайных процессов с рассмотрения одного важного примера процесса без последействия, играющего большую роль в ряде вопросов физики, теории связи, теории надежности. По-видимому, впервые этот процесс был подвергнут исследованию в начале нашего столетия физиками А. Эйнштейном и М.Смолуховским в связи с задачами броуновского движения.
Предположим, что в случайные моменты времени происходит некоторое событие. Нас интересует число появлений этого события в промежуток времени от 0 до t. Обозначим это число через £(Т). Относительно процесса появления события мы предположим, что он: 1) стационарен, 2) без последействия и 3) ординарен. В перечисленные предположения вкладывается следующий смысл.
1.Стационарность означает, что для любой группы из конечного числа непересекающихся промежутков времени вероятность наступления определенного числа событий на протяжении каждого из них зависит только от этих чисел и от длительности промежутков времени, но не изменяется от сдвига всех отрезков времени на одну и ту же величину. В частности, вероятность появления к событий в течение промежутка времени от т до т + t не зависит от т и является функцией только к и t.
Отсутствие последействия означает, что вероятность наступления к событий в течение промежутка времени (т,т + г) не зависит от того, сколько раз и как появлялись события ранее. Это предположение означает, что условная вероятность появления событий за промежуток времени (т, т + г) при любом предположении о наступлении событий до момента т совпадает с безусловной вероятностью. В частности, отсутствие последействия означает взаимную независимость появления того или иного числа событий в непересекающиеся промежутки времени.
Ординарность выражает собой требование практической невозможности появления двух или нескольких событий за малый промежуток времени Аг. Обозначим через P>v (At) вероятность появления более чем одного события за промежуток времени At. Тогда условие ординарности в точном его выражении состоит в следующем:
P>x(At) = О(ДГ).
Наша ближайшая задача состоит в определении вероятностей P^U) того, что за промежуток длительности t произойдут к событий. В силу сделанных предположений эти вероятности не зависят от того, где расположен этот отрезок времени. С этой целью обнаружим, что при малых A t имеет место равенство
Pv(At) = \At + o(At),
где А — постоянное.
Действительно, рассмотрим промежуток времени длительности 1 и обозначим через р вероятность того, что за этот срок не наступит ни одно событие. Разобьем наш промежуток на и равных непересекающихся частей. В силу первого и второго предположений имеет место равенство Р = [Рц (1/и)] ”, откуда Рй (Мп) = р1^. Отсюда при любом целом к
?о(Л/п) = pkin.
Пусть теперь t — некоторое неотрицательное число. При любом п можно найти такое к, что (к — 1)/и < t < к)п. Так как вероятность Po(t) есть
убывающая функция времени, то
/£-1\
рД > РЛП> ^0 - .
\ и /\ п /
Таким образом, Ро (?) удовлетворяет неравенствам
р^-^” > P0U)> Рк'П.
Пусть теперь к и и стремятся к бесконечности так, чтобы
к
lim — = t.
п и
Из предыдущего ясно, что при любом t
P0U) = Р*.
Так как Р0(О, как вероятность, удовлетворяет неравенствам 0 <Ро(О ^ 1, то могут представиться три следующих случая: 1) р = 0, 2) р = 1, 3) 0 < р< 1. Первые два случая малоинтересны. В первом из них при любом t имеет место равенство Ро (?) = 0 и, значит, вероятность за промежуток времени любой длительности произойти хотя бы одному событию равна единице. Другими словами, с вероятностью единица за промежуток времени любой длительности происходит бесконечно много событий. Во втором случае Ро (?) = 1 и, следовательно, события не наступают. Интерес представляет лишь третий случай, в котором положим р = е~х , где X — некоторое положительное число (А = — In р).
Итак, из предположений стационарности и отсутствия последействия мы вывели, что при любом ? > 0
Л>(0 = e~Xt •(1)
Понятно, что при любом ? имеет место равенство
РМ + Л(О + ^>1(0 = 1.
Из (1) вытекает, что при малых ?
P^t^ = 1 — А? + о(?).
Следовательно, в силу условия ординарности,
Д,(?) = А? + о(?).(2)
Теперь мы можем перейти к выводу формул для вероятностей Рк(А при к > 1. С этой целью определим вероятность того, что за время t + Д t событие наступит ровно к раз. Это может осуществиться к + 1 различными способами, а именно;
за промежуток времени длительности t произойдут все к событий, а за время Д t — ни одного;
за время t произойдут к — 1 событие, а за время Д? — одно; ...
к + 1) за время / событие не наступит ни раза, а за время Д? произойдет к раз.
По формуле полной вероятности к
PkV + ^O= 2 PjV)PkH^O / = О
(при этом принято во внимание как условие стационарности, так и условие отсутствия последействия). Положим
к - 2
Rk = 2 PAt)Pk -/(At). / = о
Очевидно, что
Rk < 2 Pk_j(At) = 2 Ps^t) < / = Оs = 2
< 2 РАМ) = ^^Дг) = о(Дг), 5=2
согласно условию ординарности.
Таким образом,
ркА + At) = Pk(t) p0(At) + ^-iGWAO + o(At).
Далее, согласно (2)
РАА0 = е~хм = 1 -XAt + о (At), PAAt)-^ At + о (At),
поэтому
Pk(t + Дг) = (1 -\At)Pk(t) + XAtPk_x(t) + о (At).
Отсюда
Ро (t + At) — Pk(t)At
-APk(t)*XPk_i(t).
Поскольку при Д? -> 0 предел правой части равенства существует, существует и предел левой части. В результате получаем уравнение
dP^
= -ХРк^*ХРк_х^
at
для определения Рк (г). Начальные условия мы выберем такие:
(3)
Ро(О) = 1, Pfc(0) = 0 при к > 1.
(4)
Решение системы уравнений (3) проще всего осуществить посредством замены
Р^ = ^v^P)(5)
где ик^ — новая искомая функция. Заметим, что, в силу (1), и0 (г) = 1. Соотношения (4) приводят нас к таким начальным условиям:
(6)(7)(7')(6)(7)(7')ио(О) = 1 и u^fO) = 0 при к > 1.
(6)
(7)
(7')
(6)
(7)
(7')
dvkU)dtdvkU)dtХик_!(Г).Хик_!(Г).Подстановка (5) в (3) приводит нас к уравнению
dvkU)dt
dvkU)dt
Хик_!(Г).
Хик_!(Г).
В частности,
dvx(t) dt
Последовательное решение уравнений (7*) и (7) приводит нас при учете начальных условий к равенствам:
(ХО2 (АО3
и^Г) = Xt, и2(О = —— , и3(О = -у—
и вообще
VkU)VkU)qt)kк'.qt)kк'.
VkU)
VkU)
qt)kк'.
qt)kк'.
Таким образом, окончательно
(8)(8)(Xr)fc
(8)
(8)
при любом к > 0. Задача, стоявшая перед нами, решена.
Высказанные нами в начале параграфа условия с большой точностью выполняются в многочисленных естественнонаучных явлениях и технических процессах. Для примера укажем на число спонтанно распавшихся атомов радиоактивного вещества за тот или иной промежуток времени (когда этого вещества не слишком мало и не слишком много); на число космических частиц, попавших на определенную площадку за промежуток времени t. Если мы имеем дело с какой-нибудь сложной радиотехнической системой, состоящей из большого числа элементов, каждый из которых лишь с малой вероятностью может отказать в работе за единицу времени независимо от состояния других элементов, то число элементов, отказавших за промежуток времени (0, Г), представляет собой случайный процесс. Этот процесс во многих случаях будет хорошо описываться только что рассмотренным процессом Пуассона. Число подобных примеров можно увеличивать без всяких затруднений.
Промежуток времени, протекший между появлениями двух последовательных появлений интересующих нас событий, представляет собой случайную величину, которую мы обозначим через т. Найдем распределение вероятностей т.Так как очевидно, что событие т > Г эквивалентно тому, что за промежуток времени t событие не появится ни разу, то
Р{т > z} = e'Xt.
Искомая функция распределения, таким образом, задается формулой
Р{т < z} = 1 — e"Xf.(9)
Полученный результат мы можем физически трактовать многими способами. Например, мы можем смотреть на него как на распределение времени свободного пробега молекулы или как на распределение времени, протекшее между двумя отказами элементов в сложной радиотехнической схеме.
Заметим, что теория, развитая в настоящем параграфе, может быть применена не только в предположении, что параметр t играет роль времени. С этой целью рассмотрим дополнительный пример.
Пример. В пространстве разбросаны точки с соблюдением следующих требований:
вероятность к точкам оказаться в области G зависит только от объема и этой области, но не зависит ни от ее формы, ни от ее положения в пространстве; эту вероятность обозначим pfc(z);1
числа точек, попавших в неперекрывающиеся области, являются независимыми случайными величинами;
2 рк(Ди) = о(Ди).
к = 2
Наложенные условия являются ничем иным, как условиями стационарности, отсутствия последействия и ординарности. Отсюда
РкО)РкО)-аи-аи<аиУ
РкО)
РкО)
-аи
-аи
е
к !
Если в жидкости взвешены мельчайшие частицы какого-либо вещества, то под влиянием ударов окружающих молекул эти частицы находятся в непрерывном хаотическом движении (броуновское движение). В результате в каждый момент времени мы имеем случайное распределение частиц в пространстве, о чем только что была речь. Согласно теории настоящего примера следует считать, что распределение частиц, попадающих в некоторую определенную область, будет подчинено закону Пуассона.
В таблице 14 сравниваются результаты опыта с частицами золота, взвешенными в воде, заимствованные нами из статьи Смолуховского, и результаты вычислений по закону Пуассона.
Таблица 14
Число частиц
Число наблюдав
шихся случаев
Частота т
518
. и -X
X е
п\
Вычисленное
число случаев
0
112
0,216
0.213
110
1
168
0,325
0.328
173
2
130
0,251
0,253
131
3
69
0,133
0.130
67
4
32
0,062
0,050
26
5
5
0,010
0,016
8
6
1
0,002
0,004
2
7
1
0,002
0.001
1
Постоянное А = аи, которым определяется закон Пуассона, выбрано равным среднему арифметическому из наблюдавшегося числа частиц, т.е.
= 1,54.= 1,54.0.112 + 1.168 + 2.130 + 3.69 + 4.32 + 5.5 + 6.1 + 7.1
= 1,54.
= 1,54.
518518А®
518
518
§ 51. Процессы гибели и размножения
В начале текущего столетия в связи с задачами биологии и телефонной связи возникла простая, но весьма полезная схема, получившая наименование процессов гибели и размножения. В качестве весьма частного случая
она включает в себя задачу предшествующего параграфа о процессе Пуассона. Несмотря на узость исходных предположений процессов гибели и размножения, они находят широкое применение в ряде прикладных задач, позволяя получить не только схематическое представление о происходящих изменениях системы, но и расчетные формулы.
Представим себе, что интересующая нас система может находиться в одном из состояний Ео, Ех, Е2, .. ., множество которых конечно или счетно. Со временем состояния системы изменяются, причем за промежуток длительности h система из состояния Еп переходит в состояние Еп+Х с вероятностью Xph + о(/г) и в состояние Еп_х с вероятностью vnh + о(й). Вероятности того, что за промежуток (z, t + И) система перейдет в состояние Entk с к > 1, бесконечно малы по сравнению с И. Отсюда следует, что вероятность остаться в том же состоянии Еп за промежуток времени h равна 1 ~Xnh — vnh + о(Н). Постоянные Х„и д„ мы предполагаем зависящими от п, но не зависящими от z и от того, каким путем система пришла в это состояние. Последнее обстоятельство означает, что рассматриваемый процесс является марковским. Теория, которая будет здесь изложена, может быть распространена и на тот случай, когда Х„ и vn зависят так же и от t.
Случайный процесс, о котором только что шла речь, носит название процесса гибели и размножения. Если под Еп понимать событие, состоящее в том, что численность популяции равна и, то переход^ Еп + Х означает, что численность популяции увеличивается на единицу. Точно так же на переход Еп ^Еп_х следует смотреть как на гибель одного члена популяции.
Если при любом п "> 1 имеют место равенство ип = 0, т.е. если возможны только переходы Еп -> Еп или Еп Еп + Х в момент изменения состояния, то процесс называется процессом размножения (иногда говорят о процессе чистого размножения; именно таким является процесс Пуассона). Если же все Х„ = 0, то говорят, что имеет место процесс гибели.
Обозначим через рк(О вероятность того, что изучаемая нами система в момент г находится в состоянии Ек. Рассуждениями, подобными тем, которые мы провели в предыдущем параграфе, мы придем к системе уравнений, управляющей процессом гибели и размножения
Ро(О = -\>Ро(О + ViPi(O (1) и при к> 1
р'кО) = - (Лк + vk)pk(0 + \к_хрк_х(0 + vk+iPk+x(0. (2)
Наши обозначения несколько неполны, поскольку мы не указываем, из какого состояния Е, начала изменяться система. Исчерпывающим было бы такое обозначение: рр0) — вероятность того, что система окажется в момент t в состоянии Ej, если в момент 0 она находилась в состоянии Е}. В задаче о процессе Пуассона мы предположили, что в начальный момент 0 система находилась в состоянии Ео.
Уравнения (1) и (2) принимают особенно простой вид для процессов чистой гибели и чистого размножения. Во втором случае, проведя последовательное интегрирование, получим (формулы написаны в предположении, что все \п различны)
До(О = e"x«f,
Р1^[^Х°г e-X]fJ,
Al — Ao
Д2(/) =.
Xt - Xo X2 ~ XoX2 - Хл
Мы предположили при этом, что при t = 0 система находится в состоянии Ео. Без труда можно выписать и общее решение, убедившись при этом, что функции pt(?) неотрицательны при всех к и г. Однако, если Хк растут слиш
ком быстро при возрастании к, может случиться, что S д (г) < 1.
к = 0
Теорема В.Феллер а. Для того чтобы при всех значениях t решения pkU) уравнений чистого размножения удовлетворяли соотношению
2 Рк^=\,(3)
необходимо и достаточно расходимости ряда
2(4)
к =0
Доказательство. Рассмотрим частичную сумму ряда (3)
$п(0 =PoWP\10 + - • • + Рп№-(5)
Из уравнений размножения вытекает, что
4^ = -xnpn(ty
Отсюда находим, что
1 -sn(t) = Xn Jp (Odt(6)
о
(если вместо начального условия до(О) = 1 взять другое, а именно дДО) = 1, то равенство (6) имеет место при п > I).
Так как все члены суммы (5) неотрицательны, то при каждом фиксированном значении t сумма sn(f) с возрастанием п не убывает. Следовательно существует предел
Нт [1 -$„(/■)] = д(0-(7)
В силу (6) мы заключаем, что Х„ jр {t)dt > ц(Г). Отсюда ясно, что о п
/ 111 \
Js„(z)6?z > д(г) I — + — + . . . + — I. Так как при любых t и и о\ ХуXjХп /
имеет место неравенство sn (z) < 1, то
/ 111 \
t > м(0+ — +-+~)-
Если ряд (4) расходится, то из последнего неравенства вытекает, что при всех Z должно быть д(г) = 0. Из (7) теперь следует, что расходимость ряда (4) приводит к (3).
*!1
Из (6) ясно, что Х„ f р Q^dt <1 и, следовательно, j sn(z)dz <+
о поХо
1г
+ — + ... + . В пределе при и ^ °° получаем J [1 - p(z)^dz <
XiХ„о
< 2 X-1.
п =0
Если д(/) = 0 при всех t, то левая часть неравенства равна t, а поскольку t произвольно, ряд, стоящий в правой части, расходится. Теорема доказана.
В предыдущем параграфе мы имели Хп = X. Следовательно, ряд (4) расходится и при всех t имеет место равенство S р (/)=!.
/1=0 "
На сумму S р (г) можно смотреть как на вероятность того, что за и = о "■
время t произойдет лишь конечное число изменений состояний системы.
Таким образом разность 1 — S р (г) следует интерпретировать как п = о п
вероятность бесконечного числа изменений состояний системы за время г. В явлениях радиоактивного распада такая возможность означает лавинный распад.
Пример 1. Резервирование без восстановления. Представим себе техническую систему, состоящую из одного основного элемента и п таких же резервных. Основной прибор за промежуток времени (/, t + h) отказывает с вероятностью Xh + о^И), а каждый из резервных приборов — с вероятностью X'h + о(й). На смену отказавшему прибору немедленно ставится прибор из резерва, отказавший же прибор дальнейшего участия в работе системы не принимает. Система в целом отказывает в момент, когда все элементы — основной и резервные — окажутся в
состоянии отказа. Найти вероятности того, что в момент t в системе имеется к отказавших элементов (событие Е^.
Мы имеем дело со случаем чистого размножения. При этом
X* =X + (?z-Х)Х' при ОСкСп,
\пЛ.к=0,к>\.
Несложные вычисления приводят к равенствам
X0XI...Xfe_l -x.f
Рк^ =кХ^e ( Л °^k<n- и
p Л0 =;’— fe (1 — e Az) dz.
^ + iv; n’X” о
В частности, если X' = 0(резерв называется ненагруженным ина холодным; элементы в таком резерве не отказывают), то имеют место равенства
Рк^ = ~ТГе $^к<п\ р (г) = 1 — 2 е Аг.
К к'." 1к=о к'.
При X' = X (нагруженный или горячий резерв; в таком резерве все элементы находятся в том же состоянии, что и основной)
Обозначим через ^ длительность жизни Х-го элемента в период работы. Для ненагруженного резервирования длительность жизни системы равна £о + £i + • ■■ + £«• Так как средний срок службы одного прибора равен /e~xt dt = 1/Х, то средний срок службы системы при холодном резерви- о
ровании равен (и + 1)/Х, т.е. пропорционален общему числу элементов системы.
Среднюю продолжительность безотказной работы резервированной системы при нагруженном резервировании вычислим следующим способом: отметим моменты последовательных отказов элементов — tx, 1г, ... ..., Гп+1 и введем обозначения т{ = 1х,тг =h —tx, т3 = г3 - Г2, - • • , тп+х = = r„ + i — tn. Поскольку в первом отрезке времени работают все приборы, вероятность того, что за время t не откажет ни один из них, равна е-(« + 1)х?. вер0ЯТН0СТЬ того, что во втором интервале не откажет ни один из работоспособных элементов, равна e~Xnt. Наконец, вероятность того, что за время t не будет отказов в последнем интервале, равна e~Xt. Теперь легко подсчитать, что время работы резервированной системы до отказа
равно
Если и велико, то
11'
+ — + ... + — ~ In п + с,
п
где с - постоянная Эйлера, с = 0,577215 ...
Пример 2. Система обслуживания с потерями. Мы рассмотрим теперь одну из задач новой прикладной математической дисциплины, получившей название теории массового обслуживания. Первые ее задачи были рассмотрены датским ученым Эрлангом — долголетним сотрудником лаборатории Копенгагенской телефонной компании.
Предположим, что на телефонную станцию поступают вызовы от абонентов. Если в момент поступления вызова аппарат вызываемого абонента свободен, то происходит мгновенное соединение и начинается разговор, который продолжается столько, сколько необходимо для его завершения. Если же вызываемый абонент занят, то вызывающий абонент получает отказ.
Нам важно подчеркнуть две особенности, с которыми необходимо считаться при рассмотрении возникающих здесь вопросов. Во-первых, вызовы на станцию поступают в случайные моменты времени, и предсказать заранее, когда поступит очередной вызов, нет возможности. Во-вторых, длительность разговора не постоянна, а меняется в зависимости от случая.
Мы предположим, что имеется и равноправных линий связи у каждого из абонентов и если хотя бы одна из них свободна, то соединение наступает мгновенно. Каждая линия доступна для любого требования, каждое требование обслуживается лишь одной из линий. Вероятность того, что вызов от какого-то абонента поступит в промежуток времени от t до t + h равна Xh + о(/г). Если в момент t заняты к линий, то вероятность того, что к моменту t + h освободится одна из них, равна kvh + о (h).
Мы находимся в условиях теории процессов гибели и размножения. В нашем случае X* = X, vk = kv при 1 <fc <и и vk = 0 при к > и. Система обслуживания может находиться лишь в состояниях Ео, Ei, Ег,... ,Еп.
Уравнения (1) и (2) для нашей задачи записываются в следующем виде:
pi(O = -^Po(O + ^i(O,(8)
при 1 <fc < и
Pk(0 = -(X + kv)p (О + Хр (0 + (k+l)vp(?)(9)
И При к = п
р'п(О = хрп1(г) - nvpn(t).(10)
К этим уравнениям мы должны добавить еще одно
2 р/0=1, к =0 *
смысл которого прост: в любой момент времени возможны только события Ео, Ех,. .. ,Еп.
Обычно интересуются изучением установившегося процесса, т.е. рассматривают решение при t ^°°. Как мы увидим позднее, в условиях нашей задачи существуют пределы
^=Jim Рк^
и эти предельные вероятности удовлетворяют следующей системе алгебраических уравнений, получающихся из (8)—(10) путем замены функций рк ^ на постоянные рк, а производныхр'к(/) на нули:
- Хр0 + vpv = 0,
Xpk_Y ~ (x + ^)Pfc +^+ ^Рк+т =0’1 ^к<п,
^ рк = \.(И)
к = о к
Обозначением zk = Хрк_ t — kvpk мы приводим систему наших алгебраических уравнений к следующей:
2i=0, zk-zk_Y=0 при 1</с<и,z„=0
откуда находим, что
kvpk_Y =Xpk-i к = \,1, .. . ,п.
Простые преобразования приводят нас к равенствам
рк
Рк = "Ро (^>L Р^У
к к'.
Теперь (11) позволяет найти нормирующий множитель р0:
Окончательно:
0^к0^крк п рк к к\ Lfc = o к'.
0^к
0^к
Эти формулы были найдены Эрлангом и носят название формул Эрланга-, они находят широкое применение в задачах телефонии. При к = п мы получаем вероятность того, что все линии заняты и, следовательно, вероятность того, что вновь прибывшее требование будет потеряно. Таким образом, вероятность получить отказ равна
р"Рп «!р"Рп «!ук = о к !ук = о к !
р"
Рп «!
р"
Рп «!
у
к = о к !
у
к = о к !
Для иллюстрации быстроты потерь с увеличением pl загрузка, приходя-
щаяся на одну линию равна — ) приведем небольшие таблички. При этом nv /
мы ограничимся случаями и=2ии=4и такими значениями р, при которых в соответствующих колонках приходятся одинаковые загрузки на прибор.
Таблица 15
п = 2
р
0,1
0,3
0,5
1,0
2,0
3,0
4,0
Рп
0,0045
0,0335
0,0769
0,2000
0,4000
0,5294
0,6054
п = 4
р
0,2
0,6
1,0
2,0
4,0
6,0
8,0
Рп
0,0001
0,0030
0,0154
0,0952
0,3107
0,4696
0,5746
Из табличек замечаем, что при малых загрузках увеличение числа приборов существенно уменьшает вероятность потерь. Например, при п = 2 и р = 1,0 вероятность потери равна 0,20, а при и = 4 и р= 2 соответствующая вероятность будет только 0,09. По мере же возрастания загрузки на один прибор вероятности потерь постепенно вырав! иваются и, например, при р = 4 и и = 2 вероятность потери равна 0,6054. а при и = 4 и р = 8 эта вероятность равна уже 0,5746, т.е. различие наступает только во втором знаке.
Вернемся к некоторым общим результатам теории процессов гибели и размножения, но изложим их без доказательств. В случае процесса чистого размножения система уравнений (1) (2) разрешалась очень просто путем последе?, ательного интегрирования, поскольку дифференциальные
уравнения имели вид простых рекуррентных соотношений. Общие уравнения имеют иную структуру и последовательное определение функций Рк(О уже невозможно. В настоящее время условия существования и единственности решений этой системы хорошо изучены в работах Феллера, Рейтера, Карлина и Мак-Грегора. Оказалось, что равенство
S рк (?) = 1
* = о к
имеет место при всех t, если расходится ряд
(12)(13)(14)(12)(13)(14)оо к р.
(12)
(13)
(14)
(12)
(13)
(14)
П —.
к = 1 1 = 1 X;
Если вдобавок сходится ряд
0 к Х;_ ।
П —^-*-,
к = 1 i = 1 V,
то при всех г существуют пределы
Рк = lim Pk^V t °о
Это условие, в частности, выполнено во всех случаях, когда, начиная с некоторого к0, выполняется неравенство
Xfc !vk +1 < а < 1 •
Интуитивно это условие ясно: оно означает, что скорость поступления требований в систему не должна превышать скорости их обслуживания.
Для вычисления пределов (13) действует следующее простое правило: нужно составить и решить систему алгебраических уравнений, получающуюся из системы (1)—(2) путем замены Pk{t) на рк и подстановки 0 вместо рк (?). Эта система, следовательно, имеет следующий вид:
— ХоРо + riPi = 0,
— (X* + vk)pk + Хк_хрк_х +vk + 1pk + 1 =0(к> 1).
Обозначения
Zk=-XkPk + vk + 1Pk+vк =0,1,2,...
обращают записанную алгебраическую систему в следующую:
zo=O, zk_x-zk=0 (при£>1).
Из нее вытекает, что при всех к
Следовательно,
Рк =Рк =vkvkкPk-,= TlкPk-,= Tl\- 1Ро.Vf\- 1Ро.Vf(15)(15)
Рк =
Рк =
vk
vk
к
Pk-,= Tl
к
Pk-,= Tl
\- 1
Ро.
Vf
\- 1
Ро.
Vf
(15)
(15)
Постоянное р0 определяется из условия нормировки S р = 1: к =0
Ро =Ро =1 Sк = 11 Sк = 1к Х{_ П —= 1 V;к Х{_ П —= 1 V;(16)(16)
Ро =
Ро =
1 S
к = 1
1 S
к = 1
к Х{_ П —
= 1 V;
к Х{_ П —
= 1 V;
(16)
(16)
Очевидно, что в полученных формулах содержатся найденные нами ранее формулы Эрланга.
ПримерЗ. Обслуживание с очередью. На п одинаковых приборов поступает пуассоновский поток требований с параметром (интенсивностью) X. Требование, поступившее на какой-либо прибор, требует для всего обслуживания случайного времени с распределением вероятностей Н(х) = 1 — е~1>х. Если в момент поступления требования имеется хотя бы один свободный прибор, оно начинает обслуживаться немедленно. Если же все приборы заняты, то вновь поступающие требования становятся в очередь. Если имеется очередь, то после окончания обслуживания прибор немедленно переключается на обслуживания очередного требования из очереди. Требуется найти вероятности пребывания в системе того или иного числа требований.
Мы находимся в условиях теории процессов гибели и размножения. Для нашей задачи Х^ = X при всех к, vk = ^ при к <и и vk = nv при к > п.
Согласно формулам (15) и (16), стационарные решения для нашей задачи имеют такой вид: при к Си
Рк
Рк = Р° к к'.
и при к >п
Рк
Рк = "^Р°'
где р = X/v. Постоянноегде р = X/v. ПостоянноеРо определяется равенствомРо определяется равенствомРо =Ро =" рк рпS — +— - . к = о к! и!" рк рпS — +— - . к = о к! и!к = п + 1 \ П /к = п + 1 \ П /
где р = X/v. Постоянное
где р = X/v. Постоянное
Ро определяется равенством
Ро определяется равенством
Ро =
Ро =
" рк рп
S — +— - . к = о к! и!
" рк рп
S — +— - . к = о к! и!
к = п + 1 \ П /
к = п + 1 \ П /
и!(и - р)!и!(и - р)!
и!(и - р)!
и!(и - р)!
Если р < п, то
" рк
Ро =Ро =1+2 — к = \ к'.
Ро =
Ро =
Если же р > п, то ряд, стоящий в скобке, расходится и р0 = 0. Из только что написанных формул мы заключаем, что рк = 0 при всех^. Этот результат очень важен; словами его можно сформулировать так: если р > п, то очередь на обслуживание неограниченно растет со временем,
Пример 4. Обслуживание станков бригадой рабочих. Бригада из г рабочих обслуживает п однотипных станков. Каждый из этих станков в случайные моменты времени может потребовать к себе внимания рабочего. Станки выходят из рабочего состояния независимо друг от друга; вероятность выхода из рабочего состояния за промежуток времени (С t + /z) равна Xh + o(/z). Вероятность того, что за время (т, t + h) будет завершено восстановление рабочего состояния станка равна vh + oQiy Каждый рабочий одновременно может восстанавливать только один станок; каждый станок восстанавливается только одним рабочим. Найти вероятность того, что в установившемся процессе обслуживания в данный момент будет простаивать заданное число станков.
Обозначим через Ек событие, состоящее в том, что в данный момент неисправны к станков. Очевидно, что наша система может находиться только в состоянияхЕ0,Е},.. . ,Еп. Легко понять, что мы имеем дело с процессом гибели и размножения, для которого Хк = (п — кух при 0 С к < п, Хк = 0 при к > п; vk=kv при 1 Ск^г ирк =ri) при к > г. Формулы (15) и (16) приводят к равенствам: при 1 <Л <г (р = Хф)
п' к
Рк =р Ро ’
к к'Уп-кУ
при г < к < п
-И!к.
рк г»-кг^пкуР Р»
И
Ро =2рк + 2 ——:рк .
|^=о к'^п-ку k = r+i г кг'Уп-кУ
В частности, при r= 1
РкРкРо =Ро =п2к =0п2к =0О? - кУО? - кУРкРо,
Рк
Рк
Ро =
Ро =
п
2
к =0
п
2
к =0
О? - кУ
О? - кУ
Проиллюстрируем полученные формулы простым числовым расчетом. Пусть обслуживание 8 станков поручено двум рабочим. Как рациональнее организовать работу; поручить ли все станки бригаде из двух рабочих или
же каждому из рабочих поручить по четыре определенных станка? Вычисления проведены в предположении р =0,2. Результаты собраны в таблице.
« = 8, г = 2
Таблица 16
Число неработающих станков
Число станков, ожидающих обслуживания
Число свободных рабочих
0
0
2
0.2048
1
0
1
0,3277
2
0
0
0,2294
3
1
0
0.1417
4
2
0
0,0687
5
3
0
0.0255
6
4
0
0,0083
7
5
0
0,0017
8
6
0
0.0002
Среднее число станков, простаивающих по той причине, что рабочие заняты восстановлением других станков, равно 8
S (£-2)р = 0,3045. к =2к
Среднее время простоя станков (восстановление и ожидание начала обслуживания) равно
8
S кр = 1,6875. к = 2 К
Средняя длительность свободного времени рабочих равна
2.0,2048 + 1.0,3277 =07373.
Иными словами каждый рабочий свободен от работы в течение 0,3686 доли рабочего дня.
Среднее время непроизводительных простоев станков (ожидание начала восстановления)
1.0,1914+2.0,0760 + 3.0,0153 = 0,3893.
Вся группа из восьми станков потеряет при этой второй системе организации работы 0,7886 рабочих дня, т.е. потеря времени на ожидание ремонта возрастут более чем вдвое (в первой системе она равна 0,3045 рабочих дня). Общая потеря времени 4 станками на ожидание и ремонт равна
1.0,3189 + 2.0,1914 + 3.0,0760 + 4.0,0153 = 0,9909.
и = 4, г = 1
Таблица 17
Число неработающих станков
Число станков, ожидающих обслуживания
Число свободных рабочих
0
0
1
0,3984
1
0
0
0,3189
2
1
0
0,1914
3
2
0
0,0760
4
3
0
0,0153
Все восемь станков теряют, таким образом, 1,981$ рабочих дня (против 1,6875 при первой системе организации работы). Несмотря на то, что станки простаивают при второй системе организации труда больше, рабочий в среднем свободен от работы больше, а именно 0,3984 доли рабочего дня (было 0,3686 доли рабочего дня).
Приведенные примеры показывают, что развитая теория позволяет проводить полезные предварительные расчеты и выбирать более разумные приемы работы.
Условные функции распределения и формула Байеса
Для дальнейших выводов нам необходимо обобщить понятие условной вероятности, введенное в первой главе, на случай бесконечного множества возможных условий. В частности, нам нужно ввести понятие условной функции распределения относительно случайной величины.
Рассмотрим некоторое событие В и случайную величину £ с функцией распределения F(x). Обозначим через Ла^ событие, состоящее в том, что
х - а< £<х + 0.
В силу определений первой главы
Р^ВА^ = PUa^ " PIS IАаР } = [F(x + 0) - F(x - a)] P(S | A^, откуда
,,Р{5Л^}
Pls | ла5) =-.
P F(x + 0) - F(x - a)
Предел
PlS4ap}
lim ,
a, /з - о F(x + 3) - F(x - a)
если он существует ), называется условной вероятностью события В при условии, что ^ - х, и обозначается символом Р{Д | х}. Очевидно, что при х фиксированном P{S I х} будет конечно-аддитивной функцией события В, определенной на некотором поле событий.
При некоторых условиях, которые практически всегда оказываются выполненными, Р(В | х} будет обладать всеми свойствами обычной вероятности, удовлетворяющей аксиомам 1 — 3 § 8.
Если т? — случайная величина и В означает событие т? < у, то функция Ф(у I х) = Р{ту < у | х}, которая, как легко видеть, будет функцией распределения, называется условной функцией распределения величины т) при условии, что ^ =х.
Очевидно, что если Е(х, у) есть функция распределения пары случайных величин ^ и г?, то
F(x + /3,y)-F(x-a,y)
Ф(у | х) = hm,
а, (3 о F(x + /3, °°) - F(x - а, °°)
если только этот предел существует.
Если функция Р{5 | х} интегрируема относительно F^x), то имеет место формула полной вероятности
P{S) = JP{S |х} ДЕ(х).
Для доказательства этой формулы мы разделим промежуток изменения величины £ точками x, (z = 0, ± 1, ± 2, ...) на интервалы х, < £ < x, + i- Обозначим через А; событие х, < £ < х(-ц. В силу расширенной аксиомы сложения имеем:
P{S}= S Р{&4,} = f PUlAJ^Cxi + O-FCx,)].
Станем теперь подразделять интервалы (х,-, х, + 1) на более мелкие таким образом, чтобы максимальная длина получившихся интервалов стремилась к нулю. В силу определения условной вероятности и интеграла Стилтьеса отсюда получаем:
P(S) = /P{S|x) dF(x\
В частности,
Ф(у) = Р {^ ^y's = /ФО' I x}dF(x).(1)
Если существует плотность распределения вероятностей величины ту, то ф(у) = / W I х) dF(x),(Г)
где у(у | х) -условная плотность распределения величины 77.
Пример. В качестве примера использования формулы (1) рассмотрим следующую задачу теории стрельбы. При стрельбе по некоторой цели возможны ошибки двоякого рода: 1)в определении положения цели и 2) ошибки выстрела, происходящие от большого числа различных причин (колебания в величине заряда в снаряде, неправильности обточки стакана снаряда, ошибки в наводке, незначительные колебания атмосферных условий и т.д.). Ошибки второго рода носят название технического рассеивания.
Производится и независимых выстрелов по одному определению положения цели. Требуется определить вероятность хотя бы одного попадания в цель.
Ради простоты мы ограничимся рассмотрением одномерной цели размера 2а, а снаряд будем считать точкой. Обозначим через /"(х) плотность вероятностей положения цели и через ^,-(х) плотность вероятностей для точек попадания z-ro снаряда.
Если центр цели находится в точке z, то вероятность попадания в цель при z-м выстреле равна вероятности попадания в интервал (z — a, z + а), т.е. равна *) z + а
/ ipftx^dx. z — а
Условная вероятность промаха при i-м выстреле при условии, что центр цели находится в точке z, равна
z + а
1 - / »^)dx. z — а
Условная вероятность промаха при всех и выстрелах (при том же условии) равна
пz + а
П (1 - /(х)Л).
/ = 1z - а
Отсюда заключаем, что вероятность хотя бы одного попадания, при условии, что центр цели находится в точке z, равна
- П (1 - / i(x)dxy Z = 1Z — (X
Безусловная вероятность хотя бы одного попадания в цель (по формуле (1)), таким образом, равна
Р= ff(z) [1 - П (1 - J ^p(x)dx^dz.
z = 1 z — а
Если условия стрельбы не изменяются от выстрела к выстрелу, то р.(х)- = ip(x) (г = 1,2,. .. , и) и, следовательно,
Р = ffU) [1 — (1 — / p^dxfAdz. z - а
Пусть по прежнему Л,- обозначает событие х, <£ < х;-+1. Согласно классической теореме Байеса
,,Р{Л}Р{В|Л,}
Если F(x) = Р{£ < х} и Р{£ < х | В} имеют непрерывные производные по х, то, пользуясь теоремой Лагранжа, получаем:
_F'(x’iWB |Л,-}
р Ui | В } = р^х, | В) (х/ + 1 - Х{) = —-у (х;+ , - хД
х, полух, полу(2)(2)з xt < Xf < Xj*i, Х{ < х/ < x1 + 1. В пределе, когда xt -*х, xi+1
х, полу
х, полу
(2)
(2)
чаем
р(х)Р{В|х)
или
z , „^ р(х)Р{В|х} pt(x | В) =.
/ Р{В I x}p(x)dx
Это равенство естественно назвать формулой Байеса.
Пусть теперь событие В состоит в том, что некоторая случайная величина г? принимает значение между у — а иу + 0 и условная функция распределения Ф(у | х) величины р имеет при каждом х непрерывную плотность 1
р (у | х). Тогда, как это следует из равенства (2), если Р{В | х } при
”0 + а
а й Д стремящихся к нулю, равномерно относительно х стремится к Р^У I х),то имеет место равенство
, , . Р^рЛу | х) У = •
£Jp^yMplXUx
Эта формула будет нами широко использована в следующей главе.
Обобщенное уравнение Маркова
Мы перейдем теперь к изучению случайных процессов без последействия, ограничиваясь при этом лишь простейшими задачами. В частности мы будем предполагать, что множество возможных состояний системы есть множество действительных чисел. Таким образом, для нас случайным процессом будет совокупность случайных величин ^(г), зависящих от одного действительного параметра t. Мы будем называть параметр t временем и говорить о состоянии системы в тот или иной момент времени.
Полную вероятностную характеристику процесса без последействия мы получим, задав функцию Е(г, х; т, у), равную вероятности того, что в момент т случайная величина £(т) примет значение, меньшее у, если известно, что в момент г(г<т) имело место равенство £(г) = х. Дополнительное знание состояний системы в более ранние чем t моменты времени для процессов без последействия не изменяет функцию F(t, х; т, у).
Отметим теперь некоторые условия, которым должна удовлетворять функция F(t, х; т, у). Прежде всего для нее, как для функции распределения, должны быть при любых х, t и т выполнены равенства:
lim FQ, х; т, у) = 0, Нт F(t, х; т, у) = 1;
У"* — ”у^+~
функция F(t, х; т, у) непрерывна слева относительно аргумента у. Предположим теперь, что функция F^t, х\т, у) непрерывна по t, т и по х. Рассмотрим моменты времени t, s, т (t <s<t). Так как из состояния х в момент t система переходит в момент s в одно из состояний интервала (z, 2 + dz) с вероятностью dzF(t, x,s, z), а из состояния z в момент s переходит в состояние, меньшее у, в момент т с вероятностью F(s, z; т, у), то согласно формуле (1) предыдущего параграфа находим, что
F^t, х; т, у) = JF(s, z; т, у)dz F^t, х; s, z).
Полученное равенство естественно назвать обобщенным уравнением Маркова, так как оно представляет собой распространение равенства (1), § 17 теории цепей Маркова на теорию случайных процессов и в этой теории играет столь же важную роль, как упомянутое тождество в теории цепей Маркова.
0 для у < х,1 ДЛЯ V > X.0 для у < х,1 ДЛЯ V > X.Вероятность FQ, х; т, у) определена пока только для т > t. Дополним это определение, приняв
0 для у < х,1 ДЛЯ V > X.
0 для у < х,1 ДЛЯ V > X.
lim F^t, х;т, у) = lim F(t, х; т, у) = Е^х, у) =
т-^г + ОГ — т-0
Если существует плотность
/(?, X; Т, у) =F(t, х; т, у),
Эу
то для нее выполняются следующие очевидные равенства:
/ f(t, x;T,z)dz = F(t, х;т, у),
ff(t, x;r,z)dz = 1.
Для этого случая обобщенное уравнение Маркова должно быть записано в таком виде:
Ж х; т, у) = Jf(t', z; т, y)f(t, х; t', z)dz.
§54. Непрерывный случайный процесс.
Уравнения Колмогорова
Мы скажем, что случайный процесс Цт) непрерывен, если за малые промежутки времени лишь с малой вероятностью ^(г) может получить заметные по величине приращения. Более точно, случайный процесс ^(г) непрерывен, если, каково бы ни было постоянное 8 (8 >0), имеет место соотношение
1
lim Г dF(t - At, х; t, у) = 0.(1)
ДГ-О ДТ I у — х | > 6
Наша ближайшая задача состоит в выводе дифференциальных уравнений, которым при выполнении некоторых условий удовлетворяет функция F^t, х; т, у), управляющая непрерывным случайным процессом без последействия. Эти уравнения впервые строго были доказаны А.Н. Колмогоровым (хотя второе из них и встречалось до этого в работах физиков) и носят название уравнений Колмогорова.
Мы предположим, что
частные производные
bF(t, х;т, у) 92F(t, х; т, у)
а и охох
существуют и непрерывны при любых значениях t, х и t>f,
каково бы ни было 8 > 0, существуют предел )
1
lim / (у - x^dyF^t— At, х; t, у) = a(t, х)(2)
м^о At | у - х I <6
и предел
lim — J (у - x^dyF^t - Дг, х; t, у) = 6(7, х),(3)
Дг->0 ДГ I у - х | < 6'
и эта сходимость равномерна относительно х.
Левые части равенств (2) и (3) зависят от 8. Эта зависимость, однако, в силу определения непрерывности процесса (т.е. в силу (1)) является лишь кажущейся.
Первое уравнение Колмогорова. Если только что сформулированные условия 1) и 2) выполнены, то функция F(t,x; т,у) удовлетворяет уравнению.
dF(t,x;T,y)dF(t,x; т,у) b(t, х) д2F(t, х; т, у)
= - а^.х) . (4)
dtЭх2Эх2
Доказательство. Согласно обобщенному уравнению Маркова
F(t - At, х;т,у)= f F(t, z; т, y)dz F(t - At, x; t, z).
Кроме того, в силу свойств функции распределения,
F(t, х; т,у) = jF(t, х; т,у) dz F(t - At, х; t, z).
Из этих равенств заключаем, что
F(t - At, х; т, у) — F(t, х; т, у)
Д t
1
= / [F(r, z; т, у) — F(t, х; т,у)] dzF{t - At, х; t, z).
Д t
По формуле Тейлора при сделанных нами предположениях имеет место равенство
dF(t, х: т, F(t, z; т,у) - F(t, х; т,у) + (z - х) +
Эх
1. Э2FQ, х; т, у)„
+ —(z-x) +o((z-x)2).
2Эх
Последующие аналитические преобразования не требуют пояснений:
Fit - Д Г, х; т, у) - F(t, х; т, у)
Д t
1
= /[F(f, z; т, у) - F(t, х; т, у)] dzF(t - Д t, х; t, z) +
ДГ \z-x\>S'
1
+ $ VF(t, z; т, у") — F(t, х; т,уУ dT F(t - At, х; t, z) -
At \z-x\< 6"
1
= J [F(t, z; r, y) — F(t, z; r, y) ] dz F(t — A t, x; t, z) +
At \z-x\>b
bF(t, x; t, y) + dxbF(t, x; t, y) + dx1
bF(t, x; t, y) + dx
bF(t, x; t, y) + dx
1 b2F(t, x; t, y)2 dx21 b2F(t, x; t, y)2 dx2 J (z - X) dz FQ - A t, x; t, z) + At \z-x\<t>
1 b2F(t, x; t, y)
2 dx2
1 b2F(t, x; t, y)
2 dx2
—LJ [(z - хУ + o(z — x)2 ] X
At \z-x\<&
(5)(5)X dz Fit - At, x; t, z).
(5)
(5)
Перейдем теперь к пределу, положив Д t -> 0. Первое слагаемое правой части в силу (1) имеет своим пределом 0. Второе слагаемое, соглас-
9F
но (2), в пределе равно а (Г, х) . Наконец, третье слагаемое
Эх
d2Fd2F—— только на слагаемое, стремящееся Эх—— только на слагаемое, стремящееся Эх1
d2F
d2F
—— только на слагаемое, стремящееся Эх
—— только на слагаемое, стремящееся Эх
может отличаться от — bit, х)
к нулю при 5^0. Но так как левая часть последнего равенства от 5 не зависит и только что указанные предельные значения от 5 не зависят, то предел правой части существует и равен
bpy.XiT.y) 1d2F(T, х; т, у)
a it, х) + — b (t, х)—
Эх 2Эх
Отсюда мы заключаем о существовании предела:
F(t - At, х; т, у) - F(r, х; т, у) dF(t, х; т, у) lim !=
дг^оД tdt
Равенство (5) приводит нас к уравнению (4).
Если предположить, что существует плотность распределения
9
/(t, х; т, у) =F(t, х; т,у),
йу
то простое дифференцирование (4) показывает,что плотность f(t, х;т,у) удовлетворяет уравнению
Mt, х;т,у)Mt, х; т, у)
+ a(t,x) +
drдх
Мы перейдем теперь к выводу второго уравнения Колмогорова. При этом мы не станем стремиться к наибольшей возможной общности и сделаем допущения, не вызываемые существом дела. Помимо уже сделанных предположений, мы наложим на функцию F(t, х; т, у) еще такие ограничения
существует плотность распределения вероятностей
9F(r, х; т, у)
f(t,x;T,y) =;
существуют непрерывные производные
9/(Г, х; т, у)992
- , — Нл y)f(t, х; г, j)], —у [6(т,^)/(г, х; т, j)].
Этдуду
Второе уравнение Колмогорова*). Если выполнены ус- условия 1) — 4), то для непрерывного случайного процесса без последействия плотность f(t,x; т, у') удовлетворяет уравнению
df(t, х; т, у)9192
= - — [л(лЖ(Л х; т, у)] + —ч [6(т, y)f (t, х; т,^]. отду2 ду
(6)
Доказательство. Пусть а и Ь(а< Ь) — некоторые числа и R (у) — неотрицательная непрерывная функция, имеющая непрерывные производные до второго порядка включительно. Кроме того, мы потребуем, чтобы
Е (у) = 0 при у < а и у > Ь.
д Второе уравнение Колмогорова было получено раньше физиками Фоккером и Планком в связи с развитием теории диффузии.
Из условия непрерывности функции R (у) и ее производных заключаем, что
(7)(7)R (а) = R (6) = R '(а) = R '(b) = R "(a) = R"(b) =0.
(7)
(7)
Заметим прежде всего, что
b df(t, х; т,у)д ь
J R(y)dy- -— H<t,x;T,y)R(y)dy-
аОТОТ а
f(t, х; т + Дт, у)—f(t, х;т,у) lim f R(y)dy.
г -> оДт
Согласно обобщенному уравнению Маркова
/(Т, х; т + Д т, у) = f f(t, х; т, z)f(r, z; т + Д т, у) dz.
поэтому
R<y) dy -R<y) dy -
R<y) dy -
R<y) dy -
1
= lim [ J J f(t, x; t, z)f(z, z; т + Дт, y)R (y)dzdy -
д т -* о Дт
- J f(^x,T,y)R(y)dy] =
1
= lim — [ f f(t, x, t, z) J f(r,z;T + Ar,y)R(y)dy dz - At — 0 Дт
- Jf(t, x;T,y)R(y)dy\ =
1
= lim J f(t, х;т,у) [ ff(T,y;r + Дт, z) R(z)dz - R(y)^ dy.
Af->0 Дт
Произведенные преобразования очевидны: первый раз мы поменяли порядок интегрирования, а второй раз изменили обозначения переменных интегрирования (у на z, a z на у).
По формуле Тейлора
R (z) = R (у) + (z - y)R '(у) + (z - у)г R"(y) + o[(z - у)2 ].
Так как в силу ограниченности функции R (z) и условия (1)
J f(r, у; т + Дт, z)R(z)dz = о(Дт)
I у— 2 1> 8
11.Б.В. Гнеденко
И
f f(j, у;т + Дт, z) dz = 1 + о(Дт), I у - z К 6
ТО
1№,у;т + Дт,г) A ^dz - R(y) =
= R'(y) J (z-у)/(т,у; т + Дт, z)dz +
I у — z I < 5
+—R"(y) J l(z-y)2 +o(z - у)2] Дт.у; т + Дт, z)dz+о(Дт).
2ly - zl< 8
Таким образом,
aaг ^r^i2j21J дтг ^r^i2j21J дтR^dy--R^dy--
a
a
г ^r^i2j21
J дт
г ^r^i2j21
J дт
R^dy--
R^dy--
lim f f(t, x; t, y) \R '(y) J (z - у)Дт,у; т + Дт, z)dz +
Дт 0II у — z Кб
+ ч-Д"(у) J [(z-y)2+o(z-у)2] X
2!>Л —zl<6
X f(r, ут + Дт, z) dz + о ( Д т) / dy.
Перейдем к пределу, положив Дт -* 0. В силу предположения о равномерной сходимости к пределам в (2) и (3), заключаем, что предыдущее равенство может быть записано в виде
* bf{t, х;т,у)адт* bf{t, х;т,у)адтЛ (у) dy-Л (у) dy-
* bf{t, х;т,у)
адт
* bf{t, х;т,у)
адт
Л (у) dy-
Л (у) dy-
= И(т,х;т,у) а(т,у)Л'(у)+ ^-b(T,y)R"(y~) dy.
Так как R' (у) = R” (у) = 0 для у <д и у > Ь, то
д/(Г, х; т, у) дтд/(Г, х; т, у) дтR(y)dy =R(y)dy =
д/(Г, х; т, у) дт
д/(Г, х; т, у) дт
R(y)dy =
R(y)dy =
b1
dy-dy-(8)(8)= Jf(t,x;T,y) aQr.y^RXy)*—6(т,у)^"(у)
dy-
dy-
(8)
(8)
Воспользовавшись формулой интегрирования по частям и равенст-
вами (7), находим, что ьь 5
J/(t,x;T,y)a(T,y)R'(y)dy = - /К(у) — [а(т, y)f(t, х; т, у)] dy, ааду
Ь6э2
J f(t, х; т, у) b (т, у-) R "(у) dy - JR (у) —- [6 (т, у) / (t, х; т, у)] dy. ааду
В результате подстановки полученных выражений в (8) получаем:
ь df(t,x;r,y)а дть df(t,x;r,y)а дтR (у) dy =R (у) dy =
ь df(t,x;r,y)
а дт
ь df(t,x;r,y)
а дт
R (у) dy =
R (у) dy =
ь (д
= / - — Mylfluv)] +
а Iду
д2]
+ ~ -у- [6 (т, у) / (г, X; т, у)] Я (у) dy.
дуJ
Это равенство может быть записано, очевидно, в таком виде:
ь ( д/(Г,х;т,у) д
/ 1; + "Г— [Ж y^f(t, х; т, у)] -
а к дтоу
д2)
- — -^-[й(т,у)№х,т,у)]\R(yW = 0.(9)
дуJ
Так как функция R (у) произвольна, то из последнего тождества вытекает (6). Действительно, предположим, что это не так. Тогда существует такая четверка чисел (т, х; т, у), при которой выражение, стоящее в (9) в фигурных скобках, отлично от нуля. В силу сделанных предположений это выражение представляет собой непрерывную функцию; следовательно, найдется интервал а < у < Р, где оно сохраняет знак. Если а < а и Ъ > р, то мы полагаем Я (у) = 0 при у < а и у > |3 и R(y) > 0 при а < у < р. При таком выборе R(y) интеграл, стоящий в левой части равенства (9) должен быть отличен от нуля. Мы пришли к противоречию. Таким образом, сделанное нами предположение ошибочно и, следовательно, из (9) вытекает (6).
Естественно, что основная задача, которую приходится решать, состоит не в проверке того, что данная функция /(т, х; т, у) удовлетворяет уравнениям Колмогорова, а в разыскании неизвестной функции f(t,x; т,у) по этим уравнениям, в которых коэффициенты a(t, х) и b (t, х) предполагаются известными. При этом, конечно, разыскивается не какое-нибудь решение уравнений Колмогорова, а лишь те из 11*
них, которые удовлетворяют следующим требованиям:
fit, х; т,у) = 0 при всех Г, х, т, у,
J fit, х; т, у) dy = 1
и при любом 8>0(10)
lim / fit, х; т, y)dy = 0.
Т ~* I I у — X I > 6
Мы не будем останавливаться на выяснении тех условий, которые нужно наложить на функции aft, х) и bft.xy чтобы существовало решение уравнений Колмогорова, удовлетворяющее перечисленным требованиям и было бы при этом единственным.
Мы несколько усилим требование непрерывности с тем, чтобы выяснить физический смысл коэффициентов а(?,х) и bit, х). Именно, предположим вместо (1), что при любом 8 > 0 имеет место соотношение
lim$ iy -xf dyFit - At,x;t,y) = 0.(1')
△ t^O At ly-x l> 6
Легко видеть, что из (1 ) следует (1). Требования 2 и 3 могут быть теперь записаны иначе, а именно,
1
lim f (у - x)dy Fit - At, x;t, у) = a it, x)(2)
Д1-» о At
и
1
lim J" iy - x^dyFit - At, x; t, y) - bft, x).(3 )
д t-*о At
Остальные требования, а также окончательные выводы от замены (1) на (1') не изменяются. Так как
/ (у - х) dyFit - At, х; t,y)=M [КО - К' - АО]
является математическим ожиданием изменения 5 (?) за время At, а
/(У - xf dyFit - At, х; t,y) = M [6(0 - ^t - Д?)]2
есть математическое ожидание квадрата изменения ( (?) и, следовательно, пропорционально кинетической энергии (в предположении, что £ (?) есть координата движущейся под влиянием случайных воздействий точки), то из (2') и (3') ясно, что ait, х) есть средняя скорость изменения £ (?) , a bit, х) пропорционально средней кинетической .энергии изучаемой нами системы.
Мы заключим этот параграф рассмотрением частного случая уравнений Колмогорова, когда функция fit, х; т, у) зависит от ?, т и
у - х, но не от самих х и у. Физически это означает, что процесс протекает однородно в пространстве: вероятность получить приращение А = у — х не зависит от того, в каком положении х находилась система в момент времени t. Очевидно, что в этом случае функции а (2, х) и b(t, х) не зависят от х, а являются функциями только одного аргумента t:
а^ -alt, х); b{t) = b{t, х).
Уравнения Колмогорова в рассматриваемом нами случае переписываются в таком виде:
Э/btЭ/bt= - а^= - а^dfЭхdfЭх11Э2Э2ь(0 —у,2 Эх2ь(0 —у,2 Эх2э/Этэ/Этд/= -о(т)д/= -о(т)1■ д2/+ —Ь(т) .2 V 11■ д2/+ —Ь(т) .2 V 1(И)(И)
Э/
bt
Э/
bt
= - а^
= - а^
df
Эх
df
Эх
1
1
Э2
Э2
ь(0 —у,2 Эх2
ь(0 —у,2 Эх2
э/
Эт
э/
Эт
д/
= -о(т)
д/
= -о(т)
1■ д2/
+ —Ь(т) .
2 V 1
1■ д2/
+ —Ь(т) .
2 V 1
(И)
(И)
Рассмотрим сначала частный случай, когда я(?) = 0 и 6(f) = 1.
Уравнения (11) при этом превращаются в уравнение теплопроводности
Э/ _ 1 Э2/
У 2 V
и ему сопряженное02)
bf =1 Э2/
"ьГ ~ У У2”"
Из общей теории уравнения теплопроводности известно, что единственное решение этих уравнений, удовлетворяющее условиям (10), дается функцией _ (у -
f(t,x;T,y) =— е 2<т - О .
V2tt(t - 1)
Заменой переменных tт
х'=х- f a(z)dz, у =у - f b(z‘)dz, аа
tт
/' = f b^dz, т'= J b^dz аа
уравнения (11) сводятся к уравнениям (12). Это дает возможность
искомое решение уравнений (И) записать в виде
(.у _ х -
№,х;т,^=— е ' 2q2
о V2?r
где обозначено
Л = J a^dz, а2 = f b^dz. tt
. Чисто разрывный процесс.
Уравнения Колмогорова—Феллера
В современном естествознании большую роль играют процессы, в которых изменение системы происходит не непрерывно, а скачками. Примеры такого рода задач приведены во вводном к настоящей главе параграфе.
Мы будем говорить, что случайный процесс £ (?) чисто разрывен, если в течение любого промежутка времени (?, t + Д?) величина § (Г) остается неизменной и равной х с вероятностью 1 — р (?,х) Д? + о(Д?) и лишь с вероятностью р (?, х) Д? + о (Д?) может претерпеть изменение (при этом мы считаем, что вероятность более чем одного изменения £ (?) за промежуток времени Д? есть о (Д?)) . Естественно, что поскольку мы ограничиваемся рассмотрением процессов без последействия, функция распределения дальнейших после скачка изменений £ (?) уже не зависит от того, какое значение имело £ (?) в моменты, предшествующие скачку.
Обозначим через /’(?, х, у) условную функцию распределения £ (?) при условии, что в момент ? произошел скачок и непосредственно до скачка £ (?) было равно х (т.е. £ (? — 0) = х).
Функция распределения F(t, х; т, у) легко может быть выражена через функции р (?, х) и P(t, х, у), а именно
F(t, х; т, у) = [1 - р(?, х) (т - ?)] Е(х, у) +
+ (т- t)p(t, x)P(t, х,у)+о(т- ?).(1)
По смыслу определения функций р (?, х) и P^t, х, у) они неотрицательны, причем для Р(?, х, у), как для функции распределения, выполнены равенства
P(t, х, - °°)= 0, P(t, х, + оо) - 1.
Кроме того, мы предположим, что р(?, х) ограничена, обе функции р(?, х) и P(t, х, у) непрерывны относительно ? и х (достаточно, на самом деле, предположить, что они измеримы по Борелю относительно х) .
В отношении функции F(t, х; т, у) мы не станем делать никаких предположений и лишь сохраним ее определение при t =т:
lim F(t, х; т,у) = lim F(t,x; т,у) = т -* г + 0t -> т-0
f 0 при у<х,
= Е<х,у) =
I 1 при у>х.
Одна из задач настоящего параграфа состоит в доказательстве следующей теоремы.
Теорема. Функция распределения F (t, х; т, у) чисто разрывного процесса без последействия удовлетворяет двум следующим интегро- дифференциальным уравнениям:
, х; т, у)
= p(t, х) [F(r, х; т, у) - dt
- jF(t, z; т, y)dzP(t, х, z)],(2)
дР(Г,х;т,у)y
; =- I P(t, z) dzF(t, x; т,у) +
ОТ-00
(3)(3)+ J Р(т, z) P(t, z, y) dzF(t, x; t, z) .
(3)
(3)
Уравнение (2) было получено A.H. Колмогоровым в 1931 г.; в сделанных нами предположениях оба уравнения (2) и (3) были получены В. Феллером в 1937 г. Это обстоятельство приводит нас к естественному наименованию уравнений (2) и (3) уравнениями Коломогорова-Феллера.
Доказательство. В силу обобщенного уравнения Маркова
F(t, х; т,у) = f F(t + Дг, z; т, у) dzF(t, х; t + Дг, z) .
Подставив сюда значение F^t, х; t + Дг, z) по формуле (1), находим, что
F^t, х;т, у) = JF(t + At,z; т, у) dz[l -p(t, х) Д(г) +
+ о(Дт) ] Е(х, z) + JF(t * At, z; т,у) dz [р(/, х)Дг + о(Дт)] P(t, х, z).
Так как
J F^t + At, z; т, у) dzE(x, z) = F^t + At, x; t, y),
TO
F(t, x; t, y) = [1 - p(t, x) Дг] F(t + At, x; t, y) + + Atp (t, x) J FV +At, z; t, y) dzP(_t, x, z) + o<At^.
Отсюда
F(t + At, х; т, у) - F(t, х; т, у)
—— = p^t, х) F(t + A t, х; т, у) +
At
+ p(r, х) $ F(t + At, z; т, у) dzP^t, х, z) + о(1).
Переход к пределу приводит нас к (2) .
Уравнение Маркова и (1), а также определение функции Е(х, z) позволяют написать следующую цепочку равенств:
F(t,x; т + Ат, у) = /F(t,z; т + Ат, у) dzF(t, х;т, z) =
= / { [1 - Р(т, z) Дт] E{z, у) + Дтр(т, z)P(t, z, у) +
+ о(Дт)} dzF(t, х; т, z) =
УУ
= J dzF{t, х; т, z) — Ат / р(т, z) dzF(t, х; т, z) +
+ A t J р(т, z) Р(т, z, у) dzF(t, х; т, z) + о(Дт) .
дЕ
Обычным путем отсюда следует существование производной — и равен- Эт
ство (3).
Мы решим еще одну важную для приложений задачу: с какой вероятностью в течение промежутка времени от t до т (т > Г) система может изменить свое состояние то или иное число и раз (и = 0, 1, 2, . . . ) ?
Обозначим через рп (Г, х, т) вероятность того, что отправляясь от состояния х в момент t, система и раз изменит свое состояние до момента т. Решение задачи начнем со случая и = 0.
С этой целью запишем следующее равенство:
Po(t, X, т) = Ро(г, х, т + Дт) + p0(t, х, т) [1 - Ро(т, х, т + Дт)],(4)
которое означает, что отсутствие изменений состояния системы в промежуток времени (t, т) может произойти двумя несовместимыми путями: 1) система не изменила состояния за больший промежуток времени (Г, т + Дт), 2) система не меняла состояния до момента т, но в промежуток времени (т, т + Дт) состояние ее изменилось. Так как по определению чисто разрывного процесса
р0(т, х, т + Дт) = 1 - р(т, х) Дт + о(Дт),
то уравнение (4) может быть записано иначе:
р0(Г,х, т + Дт)-ро(Г, х, т)
; = -Po(t, х, т)р(т, х) + о(1).
Ат
dPo(t,X, т) Отсюда, положив Дт -*0, находим, что существует производная дт
и что
др0(Т, х, т)
г = -Ро(Л X, т) р(т, х).
ОТ
Проинтегрировав это уравнение, находим т — J р(и, du
р0 (Г, х, т) = Се 1
Так как
Ро(т, х,т) = 1,
то С = 1 и
т ' — f Р(и> x^du
Р<А?,х,т) = е *(5)
Теперь мы увидим, что, зная р0 (Г, х, т), а также функцию P^t, х, у), определенную раньше, мы можем подсчитать любую вероятность рп (1,х, т). В самом деле, и-кратное изменение состояния происходит следующим образом: 1) до момента s (t < s < т) система не меняет состояния (вероятность этого события равна р0 (t, х, х)), 2) в промежуток (х,х + Дх) система меняет состояние (вероятность этого равна pv (х, х, s + Дх) = р (х, х) Дх + + о(Дх)), 3) вероятность того, что новое состояние, в котором окажется система, будет заключаться между у и у + Ду, равна P(s, х, У + Ау) - — P(s, х, у) = A yP(s, х, у), 4) наконец, за время (х + Дх, т) система изменит свое состояние и — 1 раз (вероятность этого события равна р„_1 (х + Дх, у, т)).
Вероятность того, что произойдут все четыре перечисленных события, в силу теоремы умножения, равна
РоО, х, х) [р(х, х) + о(1)] Ах • byP(s, х, у) -pn_v(s + Дх, у, т).
Так как х и у могут быть произвольными (т < х < т и —00 < у < =°), то, в силу формулы полной вероятности,
т
Рп^.х.т) = f fPo(t,x,s)p(s,x)pn_1(s,y,T)dyP(s,x,y)ds =
(6)(6)= J Po(t, x, s)p(s, x) fpn_i(s,y, T)dyP(s,x,y)ds. t•
(6)
(6)
(7)(7)Отсюда, в частности,
(7)
(7)
px(t, х, т) = f p0(t, х, s) p(s, х) f Po(s, у, т) dyP^s, х, у) ds. t
Процесс определения pn(t, х, т) очевиден: по формуле (5) находим Ро (?, х> т), по формуле (7) вычисляемpY (t, х, т) и затем последовательно р2 (?, х, т) ,р3 (?, х, т) и, наконец, р„(?,х, т).
Пример 1. Пусть интересующая нас величина £ (?) есть число изменений состояния за время от 0 до t. В предположении p(t, х) = а, где а > > 0 — постоянное, найтиpn(t,x, т).
Возможными состояниями системы будут в нашем случае все неотрицательные целые числа (х = 0, 1,2, . . . ) и только они. Так как при каждом изменении состояния величина £ (?) увеличивается ровно на 1, то
( 0 при у <х, Р(г,х,у) =
11 при у > х:
По формуле (5) имеем:
p^t.x.f^e-11^-^.
Согласно (7) т
Р10,х,т) = f Po(t, х, s)p(s, x)p0(s, x + l,f)ds = t
= ads=a(T-t)e-a<T-tX
t
По формуле (7)
т
p2(?, x, т) = J p0(t, x, s)p(s, x^pv (s, x + 1, t) ds =
2!
Предположим теперь, что
Pn-l(t,X, T) =Pn-l(t,X, T) =Ит-?)]^1(Ц-1)!Ит-?)]^1(Ц-1)!е-а(т-0е-а(т-0
Pn-l(t,X, T) =
Pn-l(t,X, T) =
Ит-?)]^1(Ц-1)!
Ит-?)]^1(Ц-1)!
е-а(т-0
е-а(т-0
По формуле (7)По формуле (7)рп(1,х,т)= f p0(t,x,s)p(s,x)pn_1(s,x +l,r)ds =рп(1,х,т)= f p0(t,x,s)p(s,x)pn_1(s,x +l,r)ds == /= /^O_221Z_t е-«(т-г) ds- ^T?У e-<i(T-t)^O_221Z_t е-«(т-г) ds- ^T?У e-<i(T-t)(n - 1)!(n - 1)!Этим доказано, что при любом целом и 5s ОЭтим доказано, что при любом целом и 5s ОРешением нашей задачи является, таким образом, закон Пуассона. В частности,Решением нашей задачи является, таким образом, закон Пуассона. В частности,(дт)"Рп(0, 0, т) = ~- е т(дт)"Рп(0, 0, т) = ~- е тЛегко сообразить, что функцияОЛегко сообразить, что функцияОF(t, х;т, у) =F(t, х;т, у) =при у < О,при у < О,является решением интегродифференциальных уравнений (2) и (3).Пример 2. В момент t = 0 имеетсяN радиоактивных атомов. Вероятность распада атома в промежуток времени (г, t + Д?) равна aN (t)kt + + о (Д t), где а > 0 — постоянное, a N (г) — число атомов, не распавшихся до момента /. Найти вероятность того, что за время от Г до г произойдет и распадов*).Мы имеем типичный чисто разрывный случайный процесс. Величина (О > понятно, может принимать только значения 0, 1, 2, . . . ,N(F).По условию задачиявляется решением интегродифференциальных уравнений (2) и (3).Пример 2. В момент t = 0 имеетсяN радиоактивных атомов. Вероятность распада атома в промежуток времени (г, t + Д?) равна aN (t)kt + + о (Д t), где а > 0 — постоянное, a N (г) — число атомов, не распавшихся до момента /. Найти вероятность того, что за время от Г до г произойдет и распадов*).Мы имеем типичный чисто разрывный случайный процесс. Величина (О > понятно, может принимать только значения 0, 1, 2, . . . ,N(F).По условию задачи(О(Опри х < О и x>N,при х < О и x>N,Pit, х) =Pit, х) =a(N - х) при 0 < х ^N,a(N - х) при 0 < х ^N,
По формуле (7)
По формуле (7)
рп(1,х,т)= f p0(t,x,s)p(s,x)pn_1(s,x +l,r)ds =
рп(1,х,т)= f p0(t,x,s)p(s,x)pn_1(s,x +l,r)ds =
= /
= /
^O_221Z_t е-«(т-г) ds- ^T?У e-<i(T-t)
^O_221Z_t е-«(т-г) ds- ^T?У e-<i(T-t)
(n - 1)!
(n - 1)!
Этим доказано, что при любом целом и 5s О
Этим доказано, что при любом целом и 5s О
Решением нашей задачи является, таким образом, закон Пуассона. В частности,
Решением нашей задачи является, таким образом, закон Пуассона. В частности,
(дт)"
Рп(0, 0, т) = ~- е т
(дт)"
Рп(0, 0, т) = ~- е т
Легко сообразить, что функцияО
Легко сообразить, что функцияО
F(t, х;т, у) =
F(t, х;т, у) =
при у < О,
при у < О,
является решением интегродифференциальных уравнений (2) и (3).
Пример 2. В момент t = 0 имеетсяN радиоактивных атомов. Вероятность распада атома в промежуток времени (г, t + Д?) равна aN (t)kt + + о (Д t), где а > 0 — постоянное, a N (г) — число атомов, не распавшихся до момента /. Найти вероятность того, что за время от Г до г произойдет и распадов*).
Мы имеем типичный чисто разрывный случайный процесс. Величина (О > понятно, может принимать только значения 0, 1, 2, . . . ,N(F).
По условию задачи
является решением интегродифференциальных уравнений (2) и (3).
Пример 2. В момент t = 0 имеетсяN радиоактивных атомов. Вероятность распада атома в промежуток времени (г, t + Д?) равна aN (t)kt + + о (Д t), где а > 0 — постоянное, a N (г) — число атомов, не распавшихся до момента /. Найти вероятность того, что за время от Г до г произойдет и распадов*).
Мы имеем типичный чисто разрывный случайный процесс. Величина (О > понятно, может принимать только значения 0, 1, 2, . . . ,N(F).
По условию задачи
(О
(О
при х < О и x>N,
при х < О и x>N,
Pit, х) =
Pit, х) =
a(N - х) при 0 < х ^N,
a(N - х) при 0 < х ^N,
Pit, х, у)=Pit, х, у)=О при у < х,О при у < х,
Pit, х, у)=
Pit, х, у)=
О при у < х,
О при у < х,
1 при у > X.
Оценим прежде всего вероятность того, что за время от 0 до t произойдет п распадов.
По формуле С 5) т - / р(Г, O)dr
Ро(О, 0, т) = е 0= ettNT.
Точно так же
Далее, по формуле (7)
Р1(0, 0, т) = J ро(О, 0, s)p(s, O)po(s, l,r)ds = о
= / e-“NS aNe-a(N-l)(r-s) d$ = 0
= Ne~aNT J" aea<T-$)ds = Ne-aNT[^r - 1].(8)
0
По формуле (7) легко последовательно найти р2 (0, 0, г), р3 (0, 0, т) и т.д. и доказать, что
р„(0, О, т) = С” е~а^ \еат - 1]".(9)
Это мы предоставляем читателю.
Очевидно, что при (Хи <^— к имеет место равенство
pn(t,k,T)= С”_к e-“(.N-k)(T^t) [ea(r-t) __^п^. )
Теперь мы можем перейти к определению интересующей нас вероятности, которую мы обозначим через р„(/,т). По формуле полной вероятности, используя затем (9) и (9'), находим, что
N-п
РпА т)= 2 рк(0,0, о - pn(t, к, т) = к = 0
N — п
= S CkNe"aNt [eat — 1]кС"_к e-«(w-fc)(r-r)[e«(r-r) _ 1]П = к = О
N-n
= e-«NT Yea^-t^ _Х^п 2 ckN cnN _keak(T-t) Veat „ цк Ar = O*
Так как
^ N-k ^N^N-n
N—n
2 С* [еа<^-*> (еат - 1)]fc = [1 +е«<27-0 _ea^T-t^N-n к=0
то окончательно
Рп^.т^С^ Ve'a! -е~аТ Ve"aT *e^T~t'> -e-a4N-n. Легко понять, что функция
F(f, х; т,у) =F(f, х; т,у) =ОО2 pn<t, х, т)2 pn<t, х, т)11при у < X, при у < N - х, при у > N - хпри у < X, при у < N - х, при у > N - х
F(f, х; т,у) =
F(f, х; т,у) =
О
О
2 pn<t, х, т)
2 pn<t, х, т)
1
1
при у < X, при у < N - х, при у > N - х
при у < X, при у < N - х, при у > N - х
является решением интегродифференциальных уравнений (2) и (3).
. Однородные случайные процессы
с независимыми приращениями
Мы рассмотрим теперь важный класс случайных процессов, полная характеристика которых будет дана в терминах характеристических функций.
Под однородным случайным процессом с независимыми приращениями понимается совокупность случайных величин £ (?), зависящих от одного действительного параметра t и удовлетворяющих двум следующим условиям:
Г) функция распределения величины £ (г + г0) - £ (?0) не зависит от /0 (однородность процесса по времени) ;
для любых неперекрывающихся промежутков (а, Ь) параметра t приращения величины £ (Г), т.е. разности £ (6) - £ (а) взаимно независимы (независимость приращений).
Прежде чем переходить к получению конкретных результатов, мы рассмотрим несколько примеров. В этих примерах условия, о которых только что шла речь, могут быть приняты в качестве рабочей гипотезы. Естественно, что их допустимость оправдывается только согласием выводов с опытом.
Пример I. Диффузия газов. Рассмотрим молекулу некоторого газа, движущуюся среди других молекул того же газа при условиях постоянных температуры и плотности. Введем в пространстве декартовы координаты и станем следить, как изменяется с течением времени одна из координат избранной молекулы, скажем, координата х.
Вследствие случайных столкновений данной молекулы с другими молекулами эта координата будет изменяться во времени, получая случайные
приращения. Требование постоянства условий, в которых находится газ, очевидно, означает собой однородность изучаемого процесса во времени. Ввиду большого числа движущихся молекул и слабой зависимости их движения процесс оказывается с независимыми приращениями.
Пример 2. Скорости молекул. Рассмотрим снова молекулу некоторого газа, движущуюся в объеме, наполненном молекулами того или иного газа постоянной плотности и температуры. Отнесем снова все пространство к декартовым осям координат и будем следить, как изменяется со временем компонента скорости по одной из осей координат. В своем движении молекула будет подвергаться случайным столкновениям с другими молекулами. Вследствие этих столкновений компонента скорости будет получать случайные приращения. Мы снова имеем однородный случайный процесс с независимыми приращениями.
Пример 3. Радиоактивный распад. Известно, что радиоактивность вещества состоит в том, что его атомы превращаются в атомы другого вещества, выделяя при этом значительное количество энергии. Наблюдения над сравнительно большими массами радиоактивного вещества показывают, что распад различных атомов происходит независимо друг от друга, так что числа распадов атомов в неперекрывающиеся промежутки времени независимы между собой. Кроме того, вероятности того, что за промежуток времени определенной длины произойдет некоторое число распадов, зависят от длины этого промежутка и практически не зависят от того, где во времени он расположен. В действительности, конечно, по мере уменьшения массы вещества его радиоактивность постепенно убывает. Однако для сравнительно небольших промежутков времени (и не слишком больших количеств вещества) это изменение настолько незначительно, что им вполне можно пренебрегать.
Легко привести большое число других примеров, где интересующее нас явление природы или технический процесс может рассматриваться как однородный процесс с независимыми приращениями. Укажем дополнительно на такие примеры: космическое излучение (число космических частиц, попавших за определенный промежуток времени на определенную площадку), обрывность пряжи на ватере, загрузка телефонистки (число вызовов абонентов, поступающих за определенный промежуток времени) и пр.
Перейдем теперь к выяснению характеристического свойства однородных случайных процессов с независимыми приращениями.
Обозначим функцию распределения приращения величины § (О за промежуток времени т через F (х, т) . Тогда, если промежутки времени Tt и т2 не пересекаются, то
(1)(1)F(x; г, + т2) = f F(x - у; т}) dyF{y, т2).
(1)
(1)
Если f(z, т) - характеристическая функция, т.е. если
/(z, т) = f elzxdxF(x; т), то равенство (1) в терминах характеристических функций принимает следующий вид:
Да; 7] +т2) = Ж тД • f(z, Тг).(1')
Вообще, если интервалы времени т^,т^,..., тп не пересекаются, то п»
f(z; 2 тк) = n/(z;rfc). к = 1к = 1
п
В частности, если т t = т^ . . . . = тп и 2 тк - г, то к=1
№, т) = [Дг; т/и)]".
Таким образом, функция распределения любого однородного случайного процесса с независимыми приращениями безгранично делима.
Нужно отметить, что к рассмотрению безгранично делимых законов распределения в теории вероятностей пришли благодаря изучению однородных процессов с независимыми приращениями. Мы видели, что теория безгранично делимых законов распределения оказала решающее влияние на развитие классических задач теории вероятностей по суммированию случайных величин. Если раньше, как мы указывали, интересы исследователей были сосредоточены на определении наиболее широких условий, при которых имеют место закон больших чисел и сходимость нормированных сумм к нормальному закону, то после того как А.Н. Колмогоровым был полностью охарактеризован класс законов, управляющих однородными случайными процессами без последействия, естественно возникли те общие задачи, которые были рассмотрены в предыдущей главе. Оказалось при этом, что основные законы распределения, которые раньше получались как асимптотические, в теории случайных процессов играют роль точных решений соответствующих функциональных уравнений. Более того, эта новая точка зрения позволила выяснить причины, в силу которых в классической теории вероятностей рассматривались только две предельные функции распределения - нормальный закон и закон Пуассона.
Поскольку при произвольном т > 0 для однородных процессов с независимыми приращениями
/(Z, т) = \Rz, 1)]т, то они полностью определяются заданием характеристической функции величины £ (1) -£ (0) . В § 43 мы видели, что для безгранично делимых за-
конов с конечной дисперсией
In ^(z, 1) = iyz + f {e'2U — 1 — izu } — dG(u),(2)
и
где 7 — действительное постоянное, a G (и) — неубывающая функция с ограниченным изменением. Мы ограничимся рассмотрением этого частного случая однородных процессов.
Введем в формуле (2) такие обозначения:
1
— dG(x) для и < 0, х
W(u) = /W(u) = /1
W(u) = /
W(u) = /
— dG^ для м>0,
a2 =G(+0) -G(-O);
тогда она примет следующий вид:
о2?20
In i(z, 1) = iyz - + Г { etzu — 1 — zzu} dM(u) +
2
+ J (elzu - 1 -zzu} dN(u).(2')
о
Выясним теперь теоретико-вероятностный смысл функцийM(u)uN (и) .
В § 43 при выводе формулы канонического представления безграничноделимых законом мы ввели функцию
GM = п f х^Фп(х).
Положим
" 1
М„(и) = / ~ dG„(x) = и Ф„(и) для zz < 0
-оо х
и
" 1
NM = f — dG„(x) = «[l -Ф„(п)] для и>0. и X
Из того, что при и -► =° в точках непрерывности функции G(u)
GM ^ см
мы по второй теореме Хелли делаем вывод, что в точках непрерывности
функции М (и)
Мп(и) = иФ„(«) - М(и).
С точки зрения случайных процессов, Ф„ (х) (х < 0) есть вероятность (к к+ 1 \
того, что величина £ (т) за промежуток I — , I изменения парамет-
\ и и /
ра т получит отрицательное приращение по абсолютной величине, большее, чем х. Таким образом, М„ (х) есть сумма по всем к от 0 до п — 1 вероятностей того, что величина £ (7) получит отрицательное приращение скачками (к к + 1 \ по абсолютной величине, большими, чем х, за промежутки ( — ,)
\ п п ) изменения параметра т. Поскольку М(и) и N (и) являются пределами при п -► °° соответственно функций Мп (и) и Nn (и), то они получили название функций скачков.
Если М(и) = 0 (для и < 0) иЛ'(ы) = 0 (для и > 0) , т.е. функции скачков отсутствуют, то из формулы (2') видно, что в этом случае стохастический процесс управляется нормальным законом. Мы видим, что случайный процесс, управляемый нормальным законом, является непрерывным в смысле теории вероятностей. Мы докажем теперь более сильное утверждение .
Теорема. Для того чтобы однородный случайный процесс с независимыми приращениями и конечной дисперсией*) управлялся нормальным законом), необходимо и достаточно, чтобы при произвольном е> 0 вероятность того, что максимальное значение абсолютной величины прира- '/ к - 1 к \
щений £ (т) за промежутки I , — I (к = 1, 2,. . . , п) превзойдет е,
\ п п /
стремилась к нулю вместе с 1/и ** *).
Док азательство. Мы только что видели, что однородный случайный процесс с независимыми приращениями управляется нормальным законом тогда и только тогда, когда при х > 0
М^—х) = N(x) = 0.(3)
Так как
М)и) = Игл МДи) и N(u) = lim Nn(u),
то условие (3) равносильно следующему:
Um иФ„(-u) = Um н[1 - Ф„(м) ] =0.(4)
И-»ооfl—>оо
/ к — 1 к \
Обозначим приращение £(т) в интервале I , — I через £„к; тогда
\ н п /
Рпк = Фп(-^) + 1 - Фп^ + 0) = Р (I £„fc I > х}.
Очевидно, что соотношения (4) эквивалентны такому: п
11m2 рпк = 0.
И-*оо к=\
Из неравенствп
пП-^ Рпк
1 - 2 рпк < П (1 -Рпк)^е k~l < 1, fc=lk = l
мы видим, что соотношения (4) равносильны утверждению, что п
Um П (1 -p„k) = 1, и->оо к 1
которое означает, что вероятность осуществления неравенств I £nk | < е при всех к(1 < к < и) при и ->°° стремится к единице. Иначе говоря, мы доказали, что соотношения (3) имеют место тогда и только тогда, когда при и -* °°
Р{ *max |> е} ^0,
что и требовалось доказать.
Понятие стационарного случайного процесса.
Теорема Хинчина о корреляционной функции
Процессы марковского типа или, иначе, процессы без последействия, изученные нами в предыдущих параграфах, ни в какой мере не исчерпывают всех запросов естествознания к теории вероятностей. В самом деле, во многих случаях прошлые состояния системы оказывают весьма сильное влияние на вероятности ее будущих состояний, и пренебрегать этим воздействием прошлого нельзя даже при приближенной трактовке вопроса. Принципиально положение может быть исправлено изменением понятия состояния системы путем введения новых параметров. Так, например, если бы изменение положения частицы в явлениях диффузии или броуновского движения мы стали рассматривать как процесс без последействия,
то это означало бы, что мы при этом не принимаем в расчет инерцию частицы, которая, само собой разумеется, в этих явлениях играет существенную роль. Введение в понятие состояния помимо координат частицы ее скорости в приведенном примере исправило бы положение. Однако существуют случаи, когда такое исправление никакого облегчения при решении поставленных задач не дает. В первую очередь здесь следует указать на статистическую механику, в которой указание на положение точки в той или иной ячейке фазового пространства дает только вероятностное суждение о будущем ее состоянии. При этом ознакомление с предыдущими положениями точки существенно меняет наши суждения относительно ее будущего. В связи с этим А.Я. Хинчин выделил важный класс случайных процессов с последействием, так называемые стационарные процессы, однородно ведущие себя во времени.
Стохастический процесс £ (7) называется стационарным, если распределения вероятностей для двухконечных групп переменных ^(Тг) Л (t2) , .. . . . . , £ (tn) и £ (? i + и), £ (t2 + и), ■ • . . £ (t„ + и) совпадают и, значит, не зависят от и. Числа и и и, а также моменты времени tx, t2,. . ., tn могут быть при этом выбраны совершенно произвольно.
• К стационарным процессам приводит, например, изучение ряда акустических явлений, в том числе встречающихся в радиотехнике (случайные шумы), а также разыскание скрытых периодичностей, интересующее астрономов, геофизиков и метеорологов.
Часто в установившемся технологическом процессе легко подметить явления, протекающие по схеме стационарных процессов. Для примера рассмотрим процесс прядения. Значительная неоднородность свойств прядильных материалов (длина волокон, их крепость, величина поперечного сечения и пр.), колебания в скорости и равномерности подачи продукта на машинах в различные этапы процесса прядения и многие другие причины приводят к тому, что свойства пряжи меняются от одного сечения к другому. При этом оказывается, что знание того или иного свойства пряжи в какой-либо одной части мотка не дает нам полного знания ее свойств в другой его части. Но поскольку процесс прядения можно считать установившимся, постольку вероятностные характеристики качества пряжи представляют собой стационарный процесс.
Понятно, что любая числовая характеристика стационарного процесса £ (?) не зависит от момента t и, например, если £(?) имеет конечную дисперсию, то, очевидно, имеют место следующие равенства:
М£(?+и) = М£(?) = М£(О) = а, D£(? + «) = D£(?) = D£(0) = a2, М {£(? + w)£(0} = M{£(u) £(0)}.
Это обстоятельство позволяет без ограничения общности дальнейших ре-
зультатов считать а = 0 и о = 1 (для этого, очевидно, достаточно вместоНО ~ G \
£ (t) рассматривать отношениеI.
о /
Мы ограничимся здесь только изучением важнейшей числовой характеристики НО — ее корреляционной функции, т.е. коэффициента корреляции между величинами НО и Н^ + “)
M[Kr + и) — м?0 + и)] №) - МКО]
Ryu) = .
V D£(?) • D£(r + и)
В силу сделанного предположения о том. что а = 0 и о = 1. выражение для R (и) принимает более простой вид
R(u) = М (£(и)£(0)} .
Мы назовем стационарный процесс непрерывным, если
lim R(u) = 1.
u-*0
В случае непрерывного стационарного процесса R (и) есть непрерывная функция от и. Действительно,
|А(и + Да)-Л(ц)| = |М{£(и + Ди)£(0)} — М{§(ы) 5(0)> | =
= |М{£(0)[£(и+Ди)-£(и)]}|.
Но в силу неравенства Коши-Буняковского
I М {€(0) [£(и + Ам) £(и)]} | < V^MlOO) • М[£(и + Ди) - €(«)] 2 •
А так как
М£2(0) = 1
И
M[g(w + Дм)-^)]2 = 2[1 -R(Ziu)L
то окончательно
| R(u + Ди) - R(u) | < V2(l - ^(Au)).
Это неравенство доказывает наше утверждение.
В теореме, которая сейчас будет доказана, стационарность процесса £(г) можно понимать в следующем более широком смысле: процесс £(f) стационарен в широком смысле, если .математическое ожидание и дисперсия £ (Г) не зависят от t. а коэффициент корреляции между £ (11) и £ (г2) является функцией только I / 2 — ^1I-
T е о р е м а X и н ч и н а. Для того чтобы функция R (и) представляла корреляционную функцию некоторого непрерывного стационарного про-
цесса, необходимо и достаточно, чтобы ее можно было представить в виде
R(u) = J cos uxdF^,(1)
где F (х) - некоторая функция распределения.
Доказательство. Условие теоремы необходимо. В самом деле, если R(u) есть корреляционная функция непрерывного стационарного процесса, то она непрерывна и ограничена. Докажем, кроме того, что она положительно-определенна. Действительно, каковы бы ни были действительные числа их, Uiип , комплексные числа р ,, р2, • - • ,4л и целое число п, имеет место следующее соотношение:
ппп
mi 2=м { s s=
fc=l/=1 /=1
п п
= S S R(Uj - Uy) pj pj. /= 1 i= 1
В силу теоремы Бохнера—Хинчина (§ 36) отсюда следует, что R(u) может быть представлена в виде
Д(м) = J eiux dF<xV
где F (х) — неубывающая функция с ограниченным изменением. В силу вещественности функции R (и) отсюда получаем:
Д(и) = J'cos их dF(x).
Наконец, приняв во внимание условие непрерывности процесса:
Д(+0)= 1,
находим, что F(+°°) - F(-°°) = 1, т.е. что F (х) есть некоторая функция распределения.
Условие достаточно. Нам дано, что R (и) естьфункция вида (1).Требуется доказать, что существует стационарный процесс £0), имеющий своей корреляционной функцией функцию R (и). С этой целью для каждого целого п и каждой группы действительных чисел tY, t^, . . . , t п рассматриваем n-мерный вектор £ (zt), £ (z2) , . - . , Ц?п), распределенный нормально и обладающий свойствами
М§(Г,) = M£(z2) = . .. = M£(Z„) = 0,
d№1) = d^2)=... =De(zj = i,
при любых i и / коэффициент корреляции между ^(zj и ^(l) равен
М£(Д) ^ = R^t - t^ .
Вид функции R (и) обеспечивает положительную определенность квадратичной формы, стоящей в показателе «-мерного нормального закона. Определенный таким образом нормальный случайный процесс стационарен и в узком и в широком смысле слова.
Доказанная теорема играет основную роль в теории стационарных процессов и в ее физических приложениях. За подробностями отсылаем к специальной литературе, для начала к литературе, приведенной в конце книги.
Пример 1. Пусть
^(0 = £ cos Xr + р sin Xt,
где Ё и р — некоррелированные ) случайные величины, для которых М£ = = Мр = 0, D£ = Dp = 1, а X — постоянное. Так как
R(u) = М£(Г + и) £(г) =
= М [£ cos Х(Г + м) + р мп Х(г + и)] • [£ cos Xr + р sin XГ] =
= M[£2cos Xt cos Х(Г + и) + gp(sin X(t + м) cos Xt +
+ cos X(f + m) sin Xr) + p2 sin Xt sin X(r + u) =
= cos \t cos X(t + u) + sin Xt sin X(r + u) = cos Xu,
то процесс ^(Г) стационарен в широком смысле. Для него в формуле (3) мы должны положить
0прих < — X,
0,5 при — X < х < X, 1прих > X.
П р и м е р 2. Пусть
ш = £ ьк^, к = 1
где K(t) = ’^к cos Xkt + ть sin Xk t, Xk — постоянные, S bk = 1, случайные к = 1
величины £k и p^ удовлетворяют следующим условиям:
М^=Мр^=0, О^=Ор^ = 1,О^к^п),
М^ ^ = Мр .ру = 0 при I Ф j,
M^i^^G при z, у = 1,2. ..., и.
Легко подсчитать, что корреляционная функция для Цг) равна
R(u) = S bk cos Хки
и что, следовательно, процесс является стационарным в широком смысле. Функция F(x) в формуле (3) растет только в точках и имеет в них скачки размера 0,5 Ьк.
Случайные процессы, для которых F(x) растет только скачками, называются процессами с дискретным спектром.
Легко видеть, что всякий процесс вида
^0 = 2 bk^(4)
k = 1
где S б£<°°и ^k(t) сохраняют смысл, приданный им в примере 2, к = 1
является стационарным в широком смысле и имеет дискретный спектр. Важно Отметить, что Е.Е. Слуцкий обнаружил глубокое обратное предложение: всякий стационарный процесс с дискретным спектром представим в виде (4). Обобщение этой теоремы Слуцкого на случай произвольного спектра будет сформулировано в следующем параграфе.
Параллельно с развитием теории стационарных процессов развивалась теория стационарных последовательностей. Последовательность случайных величин
• • •, ^-гЛ-i > £о,£i,Ь > • • ■
называется стационарной в широком смысле, если для всех членов последовательности математические ожидания и дисперсии являются постоянными числами, не зависящими от места в последовательности
. . . = М£_2 = М£_ ! = М£о = М^ = М£2 = ■ • - = а,
.. . = DU2 =DU1 =D£o =Db = Dg2 = . . .= o\
а коэффициент корреляции между ^ и ^ является функцией только И-/1.
В качестве упражнения мы предлагаем читателю
вывести, используя результаты § 36, общий вид корреляционной функции для стационарной последовательности;
доказать теорему — если для стационарной последовательности
lim 7?(s) = 0, £-> °°
где/?($) — коэффициент корреляции между ^ и £i+s, то для нее имеет место закон больших чисел, т.е. при и ->■ °°
каково бы ни было постоянное е > 0.
§ 58. Понятие стохастического интеграла.
Спектральное разложение стационарных процессов
Для дальнейшего нам необходимо ввести понятие стохастического интеграла. Пусть в сегменте а < t < b заданы случайный процесс £(Г) и числовая функция /(г). Разобьем сегмент [а, 6] точками а = tQ <tY < . . .< tn = b и рассмотрим сумму
i = 1
Если при max (t, — t, _ j)-* 0 эта сумма стремится к некоторому 1 ^ f ^ и
пределу (представляющему собой, вообще говоря, случайную величину), то этот предел называется интегралом от случайного процесса £(/) и обозначается символом
НЖ^ dt. а
Несобственный интеграл (при s = — °°,6 =+°°) определяется обычным путем как предел собственных интегралов при а -> - °° Ь -* °°.
Сходимость интегральных сумм Jn мы будем понимать в следующем смысле: существует случайная величина/ такая, что при и ->°°
М(/„-/)2-0.(1)
Опираясь на известные теоремы теории функций действительного переменного легко доказать, что последовательность случайных величин Jn сходится к пределу J в смысле (1) тогда и только тогда, когда при min(m, и) -> °°
M(Jm-Jn)2^0.(2)
На доказательстве этого факта мы останавливаться не станем.
Теорема!. Для существования интеграла
J=H^^dt
достаточно, чтобы существовал интеграл ь ь
A = HR<t-sMOf^dsdt.
а а
При этом
ь
А = MURROW-
Доказательство. Действительно, для доказательства первой половины теоремы достаточно обнаружить, что если существует интеграл Л, то имеет место соотношение (2). Имеем
M(J„-/m)2=M[ 2 №Ж^)Ш2 - г = 1
-2М 2 2 ДгДГ^Ж^Д^Дг,^
г = 1 / = 1/ = 1
= 22 №)КткЖ^ --
I = \ к = 1
- 2 2 2 /(г,) R$j)R ^ti - s>) Mj Ь +
+ 22 Rs^RoRR^Sj - oRdsjAok-
i = 1 к = i
Здесь численные значения t; и т,, sy- и о; совпадают.
В силу предположения о существовании интеграла А,
Л=Нт 2 2 RlRRT^RtR -т^М^Тк = к = 1 i = 1
= Ит 2 2 RRRs^Rlt; - s^k^As^ i = 1 / = 1
= lim 22 Rs^f(oRR<Sj- ok) Д$у Док,
j = 1 к = 1
если только max (Дг,-, Д$у) ^ 0. Таким образом, при min(m, и) ^ 00
м(Л„ - JR2 о.
Для доказательства второй части теоремы заметим, что
М[ 2 №Ш^М 2 2 ДтМт^Жт;)^,^
i = 1/ = 1/ = 1
= 22 ДМт^-т^!^
i = ii= i
при max Д?г- ->■ 0 последняя часть равенств стремится кА.
Наряду с только что введенным понятием стохастического интеграла можно рассматривать также стохастический интеграл Стилтьеса, который мы определим как предел сумм
S жиж)-^-!)]о)
k = 1
при max(r, — f,_i)^- 0. Здесь по-прежнему а = t0 < tx < . . . < tn = b и предел понимается в смысле (1). Если предел сумм (3) существует, то мы станем обозначать его символом
6
И^адту а
В конце предыдущего параграфа мы сформулировали теорему Слуцкого, выясняющую связь между стационарными процессами с дискретным спектром и рядами Фурье со случайными некоррелированными коэффициентами. Можно доказать, что для каждого стационарного в широком смысле процесса имеет место следующее свойство: каковы бы ни были е> 0 и (сколь угодно большое) Т, существуют такие попарно некоррелированные случайные величины £к,рк (Кк<п) и такие вещественные числа ХЛ(1 < к < п)), что при любом / из сегмента — Г < t < Т выполняется неравенство
М [£(0 - 2 (^ cos Хк t + рк sin Хк г)]2 < е.
к = 1
Отсюда, в частности, следует, что в указанных условиях
Р (I 5(Г)2 ^к cos Xkt + Т(к sin Хк 0> Г)} <е/ч2
к = 1
где ч — наперед заданное положительное число.
Приведем без доказательства следующую важную теорему.
Теорема 2. Всякий стационарный в широком смысле случайный процесс представим в виде
5(0 = J cos XtdZxQ<) + J smXtdZ2(X),(4)
оо
где случайные процессы Zt(X) и Z2(X) обладают следующими свойствами:
М [Z^X, + ДХО - Z,^)] ■ [2ДХ/+ ДХ2) - Zj(X2^ = О,
/,/ = 1, 2.
если i^j и для непер скрывающихся отрезков (Xi. Xi + ДХД (Х2,Х2 + ДХ2) также при i=j;
M[ZJX +ДХ) -Z^X)]2 =M[Z2(X +AX)-Z2(X)]2.
Формулу (4) естественно называть спектрачьным разложением процесса
Случайные процессы Z,(X) и Z2(X) формулы (4) могут быть определены посредством равенств
т - sin Xt
Z,(X)= lim — J ^dt
T ~> 00 2,11 _ ^ t
И
1 T 1 - cos Xt
Z2(X)= lim — f W)dt.
T-»» 2it_T t
Легко доказать, что оба указанных интеграла существуют; можно также показать, что
F(X + ДX) - F(X) = М [Zi (X + ДХ) - Z](X)]2,
где F(X) определена теоремой Хинчина.
Возможность разложения (4) для произвольного стационарного в широком смысле случайного процесса была указана в 1940 г. А.Н. Колмогоровым. Этот результат им формулировался в терминах геометрии гильбертов- ских пространств и доказывался посредством спектральной теории операторов. Теоретико-вероятностному истолкованию и выводу этого разложения были посвящены впоследствии работы многих авторов — Г. Крамера, К. Карунена, М. Лоэва, Бланк-Лапьера и др.
Эргодическая теорема Биркгофа — Хинчина
В 1931 г. американский математик Георг Биркгоф доказал одну общую теорему механики, которая, как показал через три года А.Я. Хинчин, допускает широкое теоретико-вероятностное обобщение. Эта теорема состоит в следующем: если непрерывный стационарный процесс £(г) имеет конечное математическое ожидание, то с вероятностью единица существует предел
т
lim — J §(Odt.
Т о
Стационарность процесса предположена здесь в узком, а не в широком смысле этого слова.
Так как это предложение представляет собой своеобразную форму усиленного закона больших чисел, то мы докажем ее с целью непосредственного продолжения формулировок главы 6 не для. процессов, а для стационарных последовательностей.
Теорема. Для стационарной последовательности случайных величин
...,£_ i£о ■ £i ,■•■,
для которых М^, конечно, последовательность средних арифметических
1 " —
п i = 1
с вероятностью единица сходится к пределу.
Доказательство. Введем обозначение
, ^а + £« + 1 + ■ - - + ^6
«аЬ ="•
о — а
Нам требуется показать, что с вероятностью единица величины hob при b °° стремятся к пределу. Обозначив случайное событие, состоящее в существовании этого предела, буквой К. Нам нужно доказать, что Р(А') = 1 или, что то же самое, Р (К ) = 0.
Предположим обратное, что событие К (т.е. что величины hob при b ^°° не сходятся к пределу) имеет положительную вероятность и покажем, что это предположение приводит к противоречию.
С этой целью рассмотрим все сегменты (ап,(3„) с рациональными концами “п^Рп- Множество всех таких сегментов счетно. Если lim hob не существует, то найдется такой сегмент (а„, 0„), для которого lim sup hob >
> Рп и lim sup Л06 < а„ (событие Кп ). Таким образом, событие К распада-
) — о°
ется на счетное множество несовместимых случаев Кп. Так как по предположению Р(К)>0, то найдется такое п, что Р(КИ)> 0.
Таким образом доказано, что если Р(К)> 0, то существуют два числа а и /3(<х < /3), для которых одновременно выполняются неравенства
(1)(1)lim sup hob > Д,) lim inf hob < a. I
(1)
(1)
Предположим теперь, что все ^-приняли какие-то определенные значения. Если сегмент (а, 6) таков, что hab > /3, но при всех b', для которых a < b' < b, hab' < 3- то этот сегмент назовем особым (относительно /3) .
Легко обнаружить, что два особых сегмента не перекрываются. Действительно, если два особых сегмента (а, Ь) и (a^Z^) таковы, что я <й1 < < b < 61, то из равенства
_ («1 -a)haai +(b-ai)haib
и неравенства hab > 3 вытекает, что или haai > 3 или ha ь > 3- Однако первое из этих неравенств невозможно, так как сегмент (а, Ь) особый, а второе неравенство так же невозможно, поскольку сегмент (Ci, Aj) особый.
Разность b - а назовем рангом сегмента (а,Ь). Если сегмент (а. 6) является особым, имеет ранг на превышающий s и не заключен ни в одном сегменте ранга, не превышающего s, то такой сегмент назовем s-особым.
Так как среди особых сегментов, заключающих в себе произвольный сегмент (а,3) ранга, не превышающего $,и имеющих также ранг не больший s, должен найтись хотя бы один наибольшей длины. Если бы таких сегментов нашлось два, то они перекрывались бы, что по ранее доказанному невозможно. Таким образом, каждый особый сегмент ранга не большего $, может находиться внутри только одного s -особого (или же совпадать с ним). Из определения следует, что два s-особых сегмента могут лежать только один вне другого.
Обозначим через Ks событие, состоящее в том, что выполнены неравенства (1) и, кроме того, существует такое t^s, что hor>3- Так как К является пределом для событий Ks, то
Р(К) = lim P(XJ. ОО
Отсюда следует, что для всех достаточно больших s имеет место неравенство P(KS)> 0. Далее мы ограничиваемся рассмотрением только таких значений s.
Пусть событие Ks имеет место. Тогда среди тех Г < s, для которых hot> р, существует наименьшее t'. Сегмент (0, t') - особый. Следовательно он заключен в некотором s-особом сегменте (а, Ь) (или же сам является таковым), для которого а^0<Ь. Верно и обратное: если существует s-особый сегмент (а, 6), для которого а<0<6, то существует такое Г< s, что hot > р. Для а = 0 это очевидно: достаточно положить t = b. Если же а < 0, то из равенства
, - aha0 + bhob
и неравенств hab > р, ha0 < Р вытекает hob > р. Таким образом, и в этом случае можно положить t = b.
Обозначим —а через р, Ъ — а через q. Так как s-особый сегмент (— р, — р + q^ может существовать только один, то событие Ks разбивается на несовместимые случаи Kpq, соответствующие наличию s-особых сегментов (-р, -р + q):
Ks = 2 Кра ^ = ]> 2>• • • -s, р = 0, 1,. . . ,q — 1). р, q
Замена нумерации последовательности i’ — i + р переводит случай KOq в случай Kpq. Поэтому в силу стационарности) Р(К ) = Р(К0 ) и М(^о I ^pq) = M(^ol^oq) ■ Так как
р(^)ма0|^)= sp(^PQ)M(eoi^Pq)=
p,q
= ZP(K09)S М« |£oq)=SP(Koq)M(hOqlXoq), q pq
то, приняв во внимание, что в случае KOq имеет место неравенство hOq > (3, находим
Р(^)МЙо 1^) > S P(KOg)p = pSP(^q) = РР(К$) . q
Отсюда, так как по предположению Р(КХ) Ф 0, то
М(^|КД>Д
Так как Ks -► К, то
М«01Х)>/3.
Подобным же способом (если бы рассматривали особые сегменты относительно а) можно доказать, что
МЙо IX) < а.
Мы пришли к противоречию. Отсюда вытекает, что Р(Х) = 0, что и требовалось доказать.
Исследование того, чему равен предел, к которому стремятся величины hOn при и->°°, требует предварительных рассуждений. Мы ограничимся здесь доказательством одного предложения на эту тему.
Теорема. Если случайные величины ^к стационарны, имеют конечную дисперсию и корреляционная функция R(&) -* 0 при к^-°°, то
lim Р {hOn -> а} = 1 (a=Mgfc).
Л -* 00
Доказательство. Рассмотрим дисперсию величины h0„. В силу
стационарности имеем
11ОЛ0и = М - . пОЛ0и = М - . пк = 1к = 1pg, и2pg, и2[л + 2[л + 25 Я(/-/)]-1< i< j<п5 Я(/-/)]-1< i< j<п
1
1
ОЛ0и = М - . п
ОЛ0и = М - . п
к = 1
к = 1
pg, и2
pg, и2
[л + 2
[л + 2
5 Я(/-/)]-
1< i< j<п
5 Я(/-/)]-
1< i< j<п
Очевидно, что
2 RU-D^^ (n-k)R(k).
1 < i < j < nк = 1
Рассмотрим столь большое m, что при к > m имеет место неравенство |ад|<е (е>0).
Отсюда следует, что
пп[ п + 2 S (л ~ k)R(k) + 2е S (и - Л)].к = 1m + 1
п
п
Это неравенство, очевидно, усиливается следующим образом:
Р^оп < —- [n + 2m(n - 1) + е(и - т - 1)(п - ш)]. п
Отсюда ясно, что если п достаточно велико, то правая часть этого неравенства может быть сделана меньше, чем Зе . Таким образом, при п -> °° величины hOn по вероятности сходятся к а, а так как h0„ сходятся при и с вероятностью единица, то отсюда следует утверждение теоремы.
Доказанная теорема представляет не только значительный теоретический интерес, но и находит широкие применения в статистической физике и непосредственной технической практике. Причина этого состоит в том, что для определения таких важных характеристик явления, какими являются М£(7), D^(0,/?(w) в случае стационарных процессов не нужно знать распределения вероятностей возможных значений и вычислять эти величины по соответствующим формулам. Определение этих, как говорят в физике, пространственных средних требует от исследователя сведений, которых у него зачастую нет. И во всяком случае практическая оценка этих величин посредством эксперимента требует многократного осуществления испытаний для процесса 5(0- Эргодическая теорема Биркгофа — Хинчина показывает, что с вероятностью единица можно при этом ограничиться единственной реализацией процесса £(f).
ГЛАВА 11
ЭЛЕМЕНТЫ СТАТИСТИКИ
Основные задачи математической статистики
В теории вероятностей выводятся правила, которые позволяют по вероятностям одних случайных событий вычислять вероятности других, с ними связанных; по числовым характеристикам и функциям распределения одних случайных величин подсчитывать функции распределения и числовые характеристики других. Но естественно возникает вопрос: как найти эти исходные вероятности, функции распределения и числовые характеристики? Как оценить хотя бы приближенные их значения? Это является предметом исследования другой науки о массовых случайных явлениях, которая получила наименование математической статистики. Как наука с оформившейся тематикой и методами исследования математическая статистика возникла, в сущности, только в нашем двадцатом веке. Однако отдельные задачи возникали и рассматривались задолго до нашего времени —ив девятнадцатом, и в восемнадцатом и даже в семнадцатом веках.
Термин статистика происходит от латинского слова ’’статус” (status) — состояние. Первоначально, в XVIII веке, когда статистика начала оформляться в научную дисциплину, термин статистика связывался с системой описания фактов, характеризующих состояние государства. При этом даже не предполагалось, что ведению статистики подлежат только явления массового порядка. В настоящее время статистика включает в себя и большее и в то же время более определенное содержание. А именно, можно сказать, что статистика состоит из следующих трех разделов:
сбор статистических сведений, т.е. сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
статистическое исследование полученных д а н- н ы х, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;
разработка приемов статистического наблюдения и ана л аз а статистических данных. Последний раздел, собственно, и составляет содержание математической статистики.
Сбор статистических сведений, касающихся главным образом населения, производился уже давно: имеются сведения, что в 2238 г. до нашей эры в Китае при императоре Яо была произведена перепись населения; производились переписи населения и в древнем Египте, древнем Иране, Римской
12. Б.В. Гнеденко
империи; известны переписи населенияв Россиив 1245,1259,1273,1287 гг. и более поздние. Нужно, правда, отметить, что эти переписи были чрезвычайно примитивны и в Китае, например, в течение 200 лет население учитывалось путем копировки списков предыдущих переписей. Однако даже такие неполные и несовершенные переписи давали возможность намечать важные государственные мероприятия. Практическое значение статистики в наше время велико.
Большим мастером использования статистических методов был В.И. Ленин. Желая иметь дело не с отдельными фактами, не с отдельными событиями, а со всей совокупностью фактов, желая путем анализа массовых явлений вскрыть качественное их своеобразие, В.И. Ленин систематически обращался к статистике. В качестве образца конкретного статистического исследования можно привести работу В.И. Ленина ’’Развитие капитализма в России”. Имеются несколько страниц, к сожалению незаконченной, работы В.И. Ленина ’’Статистика и социология” (’’Ленинский сборник”, т. XXX, с. 302), в которой, по-видимому, предполагалось развить общие принципы статистического анализа социальных явлений. В.И. Ленин высоко ценил статистику как орудие познания реального мира. Его слова, что социально-экономическая статистика — одно из самых могущественных орудий социального познания, в неменьшей мере относятся и к математической статистике, широко используемой не только в естествознании, но и в экономике, социологии, инженерном деле. Роль математической статистики не ограничивается вопросами обработки экспериментальных данных, а распространяется и на управление технологическими процессами, а также на большую проблему проверки соответствия теории того или иного явления экспериментальным данным.
Исходным материалом для статистического исследования реального явления служит набор результатов наблюдений над ним или же результатов специально поставленных испытаний. Вопросов, которые при этом возникают, очень много. Укажем теперь некоторые из них.
Оце нк а значения неизвестной вероятности случайного события.
Определ ение неизвестной функции распределения. Задача ставится так: в результате п независимых испытаний над случайной величиной £ получены следующие ее значения:
Хх, хг,. .. , хп.
Требуется определить, хотя бы и приближенно, неизвестную функцию распределения F (х) величины £.
Определение неизвестных параметров распределения. Часто общетеоретические соображения позволяют сделать достаточно определенные заключения о типе функции распределения интересующей нас случайной величины. Так, например, теорема Ляпунова дает воз-
можность считать, что в определенных случаях функция распределения должна быть нормальной. При этом определение неизвестной функции распределения сводится к определению по результатам наблюдений только неизвестных значений параметров а и о.
Общая задача ставится так: случайная величина § имеет функцию распределения определенного вида, зависящую от к параметров, значения которых неизвестны. На основании последовательных наблюдений величины £ нужно найти значения этих параметров.
Очевидно, что определение неизвестной вероятности р события Л является частным случаем только что сформулированной задачи, так как мы можем рассматривать случайную величину £, принимающую значение 1, если событие А появляется, и значение 0, если событие А не появляется. Функция распределения £ зависит от единственного параметра р.
В § 50 мы рассмотрели результаты наблюдений над числом частиц золота, взвешенных в воде. Предполагалось, что это число должно подчиняться закону Пуассона и требовалось оценить параметр распределения X. Рассматриваемая нами задача как раз включает приведенный пример.
Решение только что поставленной задачи будет нами дано лишь для нормального распределения
1^~а)2
/(х|а, а)=—— е 2°2 . о х/2тт
В этом случае вторая задача, очевидно, может быть разбита на 3 частных вопроса:
величина о предполагается известной, требуется оценить неизвестное значение а;
величина а предполагается известной, требуется оценить неизвестное значение о;
оба параметра а и о неизвестны, требуется оценить их значения.
Более точно эти вопросы могут быть поставлены следующим образом: в результате и независимых испытаний величина £ приняла следующие значения:
Xi,x2(. .. ,х„.
Требуется указать такие функции а =а(хь ..., хп) и а=а(хъ . . . , хп) (в первой задаче а может быть также функцией о, а во второй задаче о может быть функцией а), которые было бы рационально принять за приближенные значения оцениваемых величин а и а. Помимо этого нужно также оценить среднюю точность этих приближенных формул.
Иногда предпочтительнее искать не приближенные значения неизвестных параметров а и ов виде функций а и о, а такие функции а, а" (а' и о") от результатов испытаний и известных величин, чтобы с достаточной прак- 12*
тической надежностью можно было утверждать, что
а < а < а"
и, соответственно,
о' < о < о".
Функции д',а"(о',о”) называются доверительными границами для а(а). Впоследствии мы изложим два подхода к решению этих задач.
Проверка статистических гипотез. Задача, которую мы здесь рассмотрим, ставится так: на основании некоторых соображений можно считать,что функция распределения случайной величины £ есть F(x); спрашивается, совместимы ли наблюденные значения с гипотезой, что £ действительно имеет распределение F(x) ?
В частности, если вид функции распределения не вызывает сомнений и в проверке нуждаются только значения некоторых параметров, характеризующих это распределение, то в задаче спрашивается: не опровергают ли результаты наблюдений ту гипотезу, что параметры распределения имеют предположенные значения? Это — задача проверки простой гипотезы. Если проверяемая гипотеза состоит в том, что параметры принимают не точно определенные значения, а какие-то из некоторых определенных множеств (например, в случае биномиального распределения, гипотеза р < Ро), то гипотеза называется сложной.
В качестве второго примера статистической гипотезы приведем проверку однородности статистического материала. Частым случаем этой задачи является следующий: имеются две последовательности независимых наблюдений над случайной величиной £ с функцией распределения Fx (х)
Хь х2,. .. , хп
и над случайной величиной г; с функцией распределения F2 (х)
У1.У1,... ,Ут-
Функции распределения Ft(х) hF2(x) неизвестны; требуется оценить правдоподобность гипотезы F i(x) =F2(x).
Оценка зависимости. Производится последовательность наблюдений сразу двух случайных величин £ и д. Результаты наблюдений даны следующими парами значений: хь уь х2, у2, ... , хп,уп. Выяснить наличие функциональной или корреляционной связи между £ и р .
Управление процесами. Пусть имеется случайный процесс от дискретного или непрерывного времени £(Г). Процесс под влиянием тех или иных причин может нарушить свое нормальное протекание и стать иным, скажем £i(?). Это нарушение нормального течения может привести к нежелательным последствиям и нам нужно своевременно заметить
момент ’’разладки" и оказать управляющее воздействие с целью восстановления нормального хода процесса.
В качестве примера мы можем указать на действие технологической линии, которая вырабатывает определенную продукцию. Время от времени в силу различных причин процесс выходит из нормального состояния. Этими причинами могут быть затупление инструмента, нарушение теплового или электромагнитного режима. Они приводят к ухудшению качества продукции. По наблюдениям нужно уловить Момент разладки и восстановить ход процесса.
Заметим, что перечисленными задачами далеко не исчерпываются основные проблемы математической статистики. Совершенно новые задачи перед математической статистикой ставит промышленная и научная практика. В частности, само планирование испытаний является одной из основных задач математической статистики.
§61. Классический метод определения параметров распределения
Классический метод определения неизвестных параметров функции распределения случайной величины £ состоит в том, что до наблюдения эти подлежащие оценке величины считаются случайными величинами, подчиненными некоторому "априорному” (доопытному) закону распределения вероятностей. Предполагая этот априорный закон распределения известным, можно вычислить, пользуясь теоремой Байеса, "апостериорный" (послеопытный) закон распределения параметров при условии, что результаты наблюдений над £ оказались равными Xj,х2,...,х„.
Как мы уже говорили раньше, все последующее изложение будет относиться к определению неизвестных параметров а и а нормального закона распределения
р(_х\а,а)=е 2°2 ,
os/Itt
которому подчинена наблюдаемая случайная величина %.
Плотность распределения вероятностей того, что в результате и независимых наблюдений над величиной £ будут получены значения хь х2,. .. ... , х„ при условии, что неизвестные параметры имеют значения а и а, равна$2
7(Х1,х2,. .. ,х„|д, о)= е 2»2 ,
(а х/2тг)"' где
s2= S (Хк-а)2.
Если ввести обозначения
- 1 v
И fc=l
1 ”
s?=- S (xk-x)2, n fc = l
то простой подсчет показывает, что
1- тЧ fs^(^-e)2]
№iх„\а, а) = —— е °(1)
(a V57)"
Напомним, что в § 60 были поставлены следующие три задачи:
о известно, требуется определить а;
а известно, требуется определить о;
а и о неизвестны, требуется их определить.
Если предположить, что о известно и ^i(c) означает априорную плотность распределения величины а, то для условной плотности распределения вероятностей величины а при заданном о и найденных значениях %!, х2,..., х„ получим такое выражение:
/(xlfx2,. . . ,х„|а, о)¥?1(а)
^(alx^Xiх„;о)= —,——~ •
j/(Xi,x2,... ,х„\а, d)»v(a)da
После подстановки вместо функции / ее значения по формуле (1) и последующих очевидных сокращений находим, что
п^а-хУ
Жа\х1,х2,. .
- , х„; а) -■(2)
п^а—х )2
$е2°2• <piQi^da
Во второй и третьей задачах соответствующие формулы имеют вид: ,f(x1,x2,. .. ,x„la, о)^2(о)
12 (О |Х t , X 2х„;о)=
J/'(X1,X2,... ,х„|а, o)^2(a)do
и
Дх^Хг,... ,х„|а,а)^3(а.о) с?3(а, о|х!, х2,. . . , х„) = — ,
HKxi,x2,.. . ,х„\а, а^зСа, o^dada
где функции ^р2^ и Фз(а, о) обозначают априорные плотности распределения вероятностей величины о и пары (а, а).
После подстановки в эти формулы значения f по формуле (1) и последующих простых сокращений находим, что
s2
о-пе 2°г 12(Ф)
^2(о|х1,х2,.. . ,х„;а) = (3)
20 i2(a)da-~т(^^(а~х)2)20 i2(a)da-~т(^^(а~х)2)jVne о
20 i2(a)da
-~т(^^(а~х)2)
20 i2(a)da
-~т(^^(а~х)2)
и
^{а, а|хьх2,. .. ,х„) = -—-— • (4)
-- f-2(s2+(a-x)2)
ffa ”е 20i3(a,a)dada
О
Полученные формулы непригодны для практического использования не только в силу их сложности, но главным образом потому, что входящие в них априорные вероятности, как правило, нам бывают неизвестны. Часто, не зная априорных плотностей, делают о нйх более или менее произвольные допущения и на их основе получают обозримые для практического применения формулы. Мы пойдем по иному пути: сделаем совершенно общие допущения о характере априорных распределений и из этих допущений выведем предельные закономерности (при п->°°) для апостериорных вероятностей.
Теорема 1. Если априорная плотность распределения y?i(<z) имеет ограниченную первую производную и
^1(х)*0,
то равномерно относительно а
(5)(6)(5)(6)1— т “2 Г / ° \
(5)
(6)
(5)
(6)
i^i(a|x1,x2,. . . ,х„;о) = — е 2 l+Ol) О + 1«1)
х/2ттL ' х/п"
где
xfn
а = (а - х ),
о
a ^1(а|х1,х2,..., х„; о) обозначает апостериорную плотность распределения величины а.
Доказательство. Действительно,из (6) находим,что
а = х +
аоxfn
(7)
и, значит *),
о
^хСа^^Хг,. . . ,хп;а) =
Ml
_ «о
е Z2^ / х +
/е “1/2Ар +^da
' х/п" /
»i(z),»i(z),По формуле конечных приращений ао \_ ао
»i(z),
»i(z),
X + 1 = ^(х) +
х/п 1-Jn"
ао
где z = х + 6 и 0 < 6 < 1.
По условию теоремы |^(Z)|< С< + =,
поэтому
о , V>(alx1,x2,... ,х„;о) =
Гп
е 0,2/2 <^i(^)+ -^- v>i(z)LхГп
х/2тт[^1(^ ) + '■«]
где
r„= —°Jae “^V^z)^. \/2л n
Легко сообразить, что
(8)(8)2 Со
(8)
(8)
\/2лп
*) Заметим, что плотность распределения величины а равна а
^il(a\xi,x2,... ,хп;а)= —— ^(alXj.x,,. .. , хп;с).х/п
а1 + а1 + oV(z)гпОЧ>^ + гпoV(z)гпОЧ>^ + гпНесложные преобразования приводят нас к равенству
а
1 +
а
1 +
oV(z)гп
О
Ч>^ + гп
oV(z)гп
О
Ч>^ + гп
ф1(а|х1,х2,. .. ,хп;о) =е а /2
х/2Й
М(а|хьх2,... ,хи;а) = х + 0 I — \ и >_а2М[(а-х)2|хьх2, ... ,хп\о\ = — пМ(а|хьх2,... ,хи;а) = х + 0 I — \ и >_а2М[(а-х)2|хьх2, ... ,хп\о\ = — п(5')(5')Полученное равенство вместе с (8) доказывает теорему. Теорема 2. В условиях предыдущей теоремы / о2 \
М(а|хьх2,... ,хи;а) = х + 0 I — \ и >
_а2
М[(а-х)2|хьх2, ... ,хп\о\ = — п
М(а|хьх2,... ,хи;а) = х + 0 I — \ и >
_а2
М[(а-х)2|хьх2, ... ,хп\о\ = — п
(5')
(5')
(О
— х/Й
Доказательство. Действительно, из (7) находим, что
М(а|В) = х + М(а|В)
и
2
М[(я - х)2|5] = —М(а215), п
где В означает некоторое событие. Следовательно,
M(a|x!, хгх„;о) = х + Ja^i(a|x1F... , xn;o)da
х[п и
о2
М[(а - х)2 |хьх2,.. . ,хи;а] = — J а2 фх (a|Xi,.. . , xn;o)da. п
Подстановка в эти равенства вместо функции VT ее значения по (5) и последующие несложные подсчеты доказывают теорему.
Доказанная теорема позволяет написать следующее приближенное равенство; а~х,
средняя квадратическая ошибка которого приближенно равна ог (п.
Теорема 1 позволяет получить вероятность того, что а заключается в определенных границах при условии, что величины о, xlf х2,. . ., хп приняли определенные значения. Действительно,
Р |а -х |< — 'JnР |а -х |< — 'Jn. ,x„;a =Р{|а|. ,x„;a =Р{|а|,хп,о},хп,о}
Р |а -х |< — 'Jn
Р |а -х |< — 'Jn
. ,x„;a =Р{|а|
. ,x„;a =Р{|а|
,хп,о}
,хп,о}
и, следовательно, в силу (5)
Р/|а — х | < Xjх„;о! = f e~,2,2dt + О/V
Iх/пJ х/Зл" 0' V»" )
Пренебрегая величиной О (. а!х/п ^ (что можно сделать, вообще говоря, только тогда, когда или о мало или п достаточно велико), мы можем считать,что
(-°12 z
РЛд -х| < z|X],x2,. .. ,х„;а }= Ге “t.
I х/п' V5?r 0
Теорема 3. Если априорная плотность распределения ipA*f имеет ограниченную первую производную и ^(J) + 0, то равномерно относительно z
зГ/ 1 \
^2(z|xj,x2, ... ,х„;а) = е~г 1 + 01 1(1 + |z|) ,
xf/t L\ ^fn /
где ф2 - апостериорная плотность распределения величины
9 = -Z— х/п(9)
s
и "s = s/ х/п.
Доказательство. Действительно, из (9) находим, что
О = S I 1 + I
\ xfn /
и что
По формуле конечных приращений
(
zJ \f
$ + = 12($)+ -— ^2(w),
x/n- /
где и = s + 6, а 0 < 0 < 1.
V^
Согласно условию теоремы
Ii2(u)l< с< +*,
и 22 2 Г
п - 1
2
м - 3м - 37132[1+0(1)],7132[1+0(1)],/ з \ « _” + з.7 1)2е 2 2\ и // з \ « _” + з.7 1)2е 2 2\ и /[1 +о(1)] = Vn~e 2 [1 + о(1)] .[1 +о(1)] = Vn~e 2 [1 + о(1)] .(12)(12)
м - 3
м - 3
713
2[1+0(1)],
713
2[1+0(1)],
/ з \ « _” + з.
7 1)2е 2 2
\ и /
/ з \ « _” + з.
7 1)2е 2 2
\ и /
[1 +о(1)] = Vn~e 2 [1 + о(1)] .
[1 +о(1)] = Vn~e 2 [1 + о(1)] .
(12)
(12)
По формуле Стирлинга
следовательно,
J=V27 —2 и 2 в 2 2 [1+0(1)] =
Равенства (10), (11) и (12) доказывают теорему.
Из теоремы 3, очевидно,следует такой результат:
Теорема 4. В условиях теоремы 3 имеют место следующие соотношения :
М(о|х1,х2,.. . ,х„;д)=Т + о(1/и) и
_У2
М[(а - s)2|X!,x2,... ,х„;а] = — [ 1 + o(l/V« )].
2п
Эта теорема позволяет нам заключить, что при больших п имеет место приближенное равенство
И k = l
средняя квадратическая ошибка которого приближенно равна Т2/(2и).
Теорема 3 может быть использована также для определения вероятности того, что о будет находиться в заданных границах. Так, пренебрегая величинами порядка \lVn, мы можем утверждать, что при заданных х1( х2,..., хп и а с вероятностью
В отношении третьей поставленной нами задачи мы ограничимся только формулировкой результатов, так как их получение ничем не отличается
от доказательства теоремы 3. Введем обозначения
а - х о - st — ai = "Nn, 01 = Vй,
$1Si
где Si = $i V ■ п - 1
Теорема 5. Если априорная плотность распределения <рз(а, о) имеет ограниченные первые производные по а и о и 1з(х, Sj) #=0, то равномерно относительно at и ^j
^(ai,#! 1хьх2,... , х„) =
1_/ / 1 \ , ,
е 2(1+01) [1 + I о^ 1 +
•Пх/Т\ xfn /
где фэ означает апостериорную плотность распределения пары (oii,^i).
Из теоремы 5 вытекает такой результат.
Теорема 6. В условиях теоремы 5
М(а|хь х2, ..., х„) = х +01 — Ь
\п/
М[(я - х)2 |хь х2,.М[(я - х)2 |хь х2,.
М[(я - х)2 |хь х2,.
М[(я - х)2 |хь х2,.
М[0|Х1,Х2>. . . ,х„] = sv
_ 2xi2
М[(о - $i)z|x,,x2х„)= —
2л
Как и теоремы 1 и 3, теорема 5 может быть использована для определения вероятностей того, что а и о будут находиться в заданных границах при условии, что наблюденные значения оказались равнымиxv, х2,..., х„.
Практическое значение теорем 1, 3, 5 неодинаково. По теореме 1 точность приближенных формул (5) и (5') увеличивается не только с увеличением и, но и с уменьшением о. Поэтому для определения а при известном о имеется основание пользоваться формулами (5) ц (5') даже при малых п, если только мало о. В случае же теорем 3 и 5 остаточные члены полученных формул убывают только с возрастанием п, и поэтому при малых значениях п они не дают ничего.
Только что доказанные теоремы являются в некотором смысле обращениями следующих элементарных предложений. Если случайная величина £
нормально распределена, параметры а и а известны, хь х2,.... хп являются результатамии независимых наблюдений £, то
Плотность распределения величины
>/л" _
а = ( х - а)
о
равна
ф(х\а,о') = е х '2.
х/2тг
М(х|а, о) = а и D(x |а, а) = а2/л.
Плотность распределения величины
- о ,—
0= V2n
о
асимптотически равна
. 1
ф2 (х \ а,о) = — е ' .
V2tt
_о2
M(s |а, а) = о{1 + О(1/и)}; D(s|a,a) = [1+О(1/л)].
2и
Величины а и (3 независимы, и плотность распределения величины (а, 0) асимптотически равна
1 _ ф3(х, Ла, о) = — е 2.
2л
_о2
М(х |а, а) = a; D(x|a, а) = —S
п
_а2
М($ |а, о)^о; D(s|a, а)^
2л
Предложения 1 и 2 не требуют доказательства.
Докажем 3. В § 20 мы нашли, что плотность распределения величины У
равна
Легко проверить, что плотность распределения 3 есть о / ох ^i(x|a, о)= ф( + а
х/гГ \ х/^
Несложные преобразования приводят нас к равенству
|Д2(х|д, о^ = е ^i1.
xj2n
Для доказательства 4 заметим, что элементарные подсчеты приводят нас к равенствам
Г(и/2)Г(и/2)ОтсюдаОтсюда
Г(и/2)
Г(и/2)
Отсюда
Отсюда
Независимость х и Г будет нами доказана позднее. После того, как это будет сделано, остальные утверждения, содержащиеся в 5 я 6, становятся очевидными.
Исчерпывающие статистики
Английским статистиком Фишером было введено весьма важное понятие, которое мы поясним сначала на частном примере. Предположим, что нами решается задача определения параметра а при известном о по и наблюдениям над нормально распределенной случайной величиной. Если априорная плотность распределения параметра а существует и равна ^(д), то полученная нами в предыдущем параграфе формула (2) показывает, что условная плотность распределения vpx^a\xx> хг, • • • > хп\ °) полностью определяется знанием ^1(я), о и средним арифметическим результатов наблюдений хь х2,. .., хп. Таким образом, каково бы ни было априорное распределение вероятностей параметра а, все то новое (в случае известной дисперсии), что вносят в оценку а наблюдения, заключено в одной единственной величине х. Говорят поэтому, что х является исчерпывающей статистикой для параметраа.
Точно так же при известных а и ч>А°) все 10 новое, что вносят результаты наблюдений в определение параметра а, заключено в одной величине
s = V — 5 (хк - х) [см. (3) § 61]. В задаче определения а при из- П к=1
вестном а, таким образом, исчерпывающей статистикой будет величина $". Общее определение исчерпывающей статистики мы дадим, следуя А.Н. Колмогорову.
Пусть наблюдаемая случайная величина имеет функцию распределения, зависящую от к параметров бу, 02,..., 6к, значения которых нам неизвестны. Любую функцию X (xi, *2, • • • . *п) от результатов наблюдений и от параметров, значения которых известны, называют статистикой.
Определение исчерпывающей статистики получает следующее естественное обобщение: система функций
Х,(хьх2хп) (/= 1,2,... ,s)
называется исчерпывающей системой статистик для системы параметров бу, б2,.. ., 6к, если условное А>мерное распределение для этих параметров при известных xlf х2, ..., хп полностью определяется априорным распределением параметров 9 у, в2,.. . , 9к и значениями статистик Xi, Хг,• • • , Х$- Из формулы (4) §61 мы заключаем, что для параметров а и о исчерпывающей системой статистик являются функции Xi = х и Хг = $i- Понятно, что для каждого параметра а и о в отдельности система статистик Xi и Хг также является исчерпывающей.
Без большого труда читатель может самостоятельно убедиться в том, что если случайная величина £ подчинена закону Пуассона
, аке~а
P{£ = fc} = —— (fc = 0,l,2,...)
с неизвестным параметром а, то исчерпывающей статистикой для а будет х — среднее арифметическое результатов наблюдений.
Точно так же, если двумерная случайная величина (£, т?) распределена нормально, но параметры а, Ь, оу,о2 иг неизвестны, то исчерпывающей системой статистик для указанной системы параметров будут следующие пять функций:
1 ”_
Х1(Х1.Х2, ,хп) = ~ У, хк = х,
П к = 1
1 ”
Х2(У1,Т2То) = - 2 ук=у
П к = 1’
/ 1 и
ХэС^ь х2, - - • , xn) = V — S (xfc - Х)2 = St ,
И /с = 1
/ 1 л
Х4(>’1,>,2, ■ • ■ , Ум) = V — 2 (ук -У)2 =52,
П fc=l
п _
Xs(xi,. •. ,ХП, У1,...,У„)= - 2 (хк-х)(ук - у) = Г.
П к = 1
Здесь (х1,_>'1), (х2, у г ),..., ^п,Уп) — результаты наблюдений.
В качестве упражнения рекомендуем читателю самостоятельно определить исчерпывающие системы статистик для параметра 1) а, 2) Ь, 3) ох, 4) о2, 5) г.
Доверительные границы и доверительные вероятности
Во вводном параграфе к настоящей главе мы указали, что задача определения неизвестных параметров иногда ставится следующим образом: требуется определить такие две функции 9'(хь х2,.. . , хп) и 9"(хьхг,.. . ... , хп) от результатов наблюдений, чтобы была практическая уверенность в том, что неизвестный параметр 6 находится в пределах между 6' и 9". Функции 6' и 9" называются доверительными границами для параметра 9. Для того чтобы доверительные границы для 9 были удовлетворительны, нужно, очевидно, потребовать, чтобы условная вероятность
Р{9'< 9 < 9"Ixi,x2, ... ,х„}
параметру в находиться в промежутке от 9' и 9"при заданных хХ) х2,... .. ., хп была достаточно близка к единице. Степень близости при этом определяется той практической задачей, с которой связано определение неизвестного параметра 9. Если известна априорная плотность распределения для параметра 9, то для определения доверительных границ 9'(хь х2,... .. . , хп) и 9"(xi, х2хп) естественно выбрать те 9' и 9", при которых для заданного со, близкого к единице, выполняется равенство
0"
J /(Х1.Х2,... ,х„|9)Х9)</9
си = Р{9' < 9 < 9" 1х!, х2,..., х„ } = — ,
7 /(xi,x2,... ,xn\6)^6)de
и при этом разность 9"—9' будет минимальна.
Задача определения доверительных границ в такой постановке сложна не только потому, что она приводит к сложным аналитическим операциям,
но в первую очередь потому, что априорная плотность ^(9) для параметра 9 нам обычно бывает неизвестна. Мы видели, что задача получает осмысленное и простое решение не зависящее от априорного распределения для параметров, если число наблюдений и настолько велико, что имеется возможность пользоваться предельными теоремами.
Можно, правда, идти по другому пути, а именно искать правила такого рода: каковы бы ни были результаты наблюдений х2,. . ., х„, требуется указать такие доверительные границы б'(Х1, х2,..., л„) и б"(Х], х2,. .. .... х„), чтобы с заданной уверенностью (вероятностью) можно было считать, что
0'(X!,X2,. . . ,Х„)< 9< 9"<Хх,Х2,. . . ,Х„).
Так как заранее неизвестно, каковы будут результаты наблюдений, то при решении вопроса о том, следует рекомендовать это правило или нет, нужно обращаться не к рассмотрению условных вероятностей
Р{б' < 9 < 0" IXj, х2,... , х„),
а к рассмотрению безусловной вероятности
Р{0'<0<0"}(1)
того, что при применении правила не произойдет ошибки.
При заданном виде функций 9'(_хх, х2,. . . , х„) и 9" (хх, х2,. .. , х„) вероятность (1) зависит, конечно, от функции распределения величин хх, х2,..., хп. Если это последнее распределение зависит от к параметров 9Х, 9г,..., 9к и безусловная плотность распределения этих параметров дается функцией ^(0!,..., 9к), то
Р{0'< 9 < 9"} =
= J...JP{8'< 9< 9"\9х,92,...,9к^(9х,.. .,9k)d9x,...,d9k.
Особенно важным на практике является тот случай, когда условная вероятность
Р{9'< 9< 9"19х,92,...,9к}(2)
при любых значениях 9Х, 92,. . , 9к остается неизменной, равной некоторому числу со. В этом случае также
Р{8'^ 0< 0"}=со,
т.е. безусловная вероятность (1) не зависит от априорного безусловного распределения параметров 9Х ,92 , . . . ,9к.
Сама гипотеза о существовании априорного распределения параметров не всегда осмысленна. В самом деле, как можно говорить о распределении параметра а в законе Пуассона для любой задачи, в которой характеризующая эту задачу случайная величина распределена по закону Пуассона? Од-
нако, если условная вероятность (2) не зависит от значений параметров и равна одному и тому же значению со, то естественно считать безусловную вероятность (1) существующей и равной си даже в тех случаях, когда существование априорного распределения параметров не предполагается.
Условимся говорить, что предлагаемое правило имеет доверительную вероятность со, если при всех возможных значениях параметров условная вероятность (2) равна со.
Обратимся теперь к рассмотренным в § 60 задачам.
В случае первой из рассмотренных там задач положим
,„ z2
а = х +■ о; а = х + —— а.
VmVй
Каковы бы ни были значения параметров а и о, мы имеем, очевидно:
,fZ2<?_Zxo
Р{я < а < а I а, о } - Р: а — ^ х < а —
'xfn"хГп"
1~Z11Z2
= — J е^12^ = — J e-^dt.
xfbt ~z2V2ir zi
Отсюда мы заключаем, что доверительная вероятность правила
Z у О ^2 О
X + < О < X +
xfnх/п~
равна
1Z= 2
— J е"* ^dt.
x/fn z>
В частности, имеем, следовательно, равенство
(z)222
Р |д-хК о =e~f l2dt.
'х/п'х/тй 0
Во второй задаче мы считаем известным параметр а, тогда как пара-
метрметро подлежит оценке. Положим
метр
метр
ооа
о
о
где
$
2 (хк - аУ.
к = 1
Легко видеть, что
Р{о'< а < а" | а, а} = ?{оГ2/х/п" < $ < t^jx/ п | а, о}.
В §21 (распределение х) мы нашли плотность распределения величины s при условии, что а и а заданы. Именно
у2 п х/1п {ух/п\п~х
|а, о) = 1I е .
Отсюда мы находим, что
Р(оР(о^ а < а | а, а} =^ а < а | а, а} =
Р(о
Р(о
^ а < а | а, а} =
^ а < а | а, а} =
1г*
Jzn~xe~z2^2dz. п-2 2Г2
2Г(и/2)
Мы видим, что условная вероятность неравенств
о
при условии, что параметры а и а известны, не зависит от значений этих параметров. Следовательно, по предыдущему, доверительная вероятность правила
1 / и „1 / ",
— V 2 (хк - of < о < — V 2 (хк - а)2
11 к = 112к = 1
равна
си = J z”^ e-z2/2dz.
п-2
Перейдем, наконец, к рассмотрению последней задачи, когда оба параметра а и с неизвестны. Положим
я/ = х + Ci х/"п$1 и а" = х + с2 xAFsi,
aI = V«Si/n, 0'1 = V п$1 / ti, где
Л n "
s, = V - 2 (xfc - x ).
« k = i
При условии, что я и а заданы, мы имеем:
,„[а-х1
Р{Я1 < а < ах | а, а} = Р< сг < — < с2 | а, о |
1SiV«J
а - х
Нам нужно найти теперь условные плотности распределения для и
$i Vй
—-— при условии, что я и а известны. Так как
1 ”
- 5 (хк - а)
х - ак = 1х'
$! х/^Г Г~п/ п
х! 2 [(xfc -а)- (х - я)]2 V 5 (Xfc-x')2 к = 1к = 1
При этом пппп
nsV 5 (x'k-x')2 = S Х^-ПХ12= S Л-у\= 2 у2 к = 1k = 1k =1к = 2
и, следовательно,
У1У1x - a
У1
У1
Так как
п
Ук ~ ^ CXkjXi, i = 1
где величины aki удовлетворяют соотношениям
п1при г = к,
2 а,уа/к =
/ = 10 при / Ф к
и величины x't нормально распределены, то величины ук также нормально распределены. Далее Мук = О (& = 1,2,.... и). Наконец, из того, что
ппга2 при i = к,
МУ1Ук= ^ а^а^МХу2 = а2 5 а,7ад =
/ = 11 I О при / Ф к,
мы заключаем о независимости величин ук (fc = 1, 2, ..., и) и о том, что Djk =аг {к= 1, 2,.... п).
Ух /Vn - 1Ух /Vn - 1Так как далее
Ух /Vn - 1
Ух /Vn - 1
/ п
( 2 у2кМ (п - 1) к = 2
и в этой дроби числитель и знаменатель независимы, причем плотность рас-
§ 63. Доверительные границы пределения числителя равна
V« - 1 2аз(И —*} е
а плотность распределения знаменателя (согласно § 21 распределение х2) равна
'V 2(п - 1) / y-Vn - 1\п 22 а3 (” °
7"С I I е
оГ1 I °V2 '
\ 2
то согласно § 21 (распределение Стьюдента) плотность распределения
частногочастногоравнаравнак = 2к = 2Г(и/2)Г(и/2)- (1 + х2) ”/2.- (1 + х2) ”/2.Плотность распределения величиныПлотность распределения величиныкак в этом легко убекак в этом легко убедиться, равнадиться, равна^(х\а, о) =^(х\а, о) =V» Г(л/2)V» Г(л/2)— /л - 1лГ(\ 2— /л - 1лГ(\ 2(1 + ИХ2) п/2 ,(1 + ИХ2) п/2 ,следовательно,следовательно,{а - х сх < <с2Si Vn" '{а - х сх < <с2Si Vn" 'сгf (1 +nx2)-n/2dx.сгf (1 +nx2)-n/2dx.
частного
частного
равна
равна
к = 2
к = 2
Г(и/2)
Г(и/2)
- (1 + х2) ”/2.
- (1 + х2) ”/2.
Плотность распределения величины
Плотность распределения величины
как в этом легко убе
как в этом легко убе
диться, равна
диться, равна
^(х\а, о) =
^(х\а, о) =
V» Г(л/2)
V» Г(л/2)
— /л - 1
лГ(
\ 2
— /л - 1
лГ(
\ 2
(1 + ИХ2) п/2 ,
(1 + ИХ2) п/2 ,
следовательно,
следовательно,
{а - х сх < <с2
Si Vn" '
{а - х сх < <с2
Si Vn" '
сг
f (1 +nx2)-n/2dx.
сг
f (1 +nx2)-n/2dx.
Эта вероятность не зависит от значений, которые принимают параметры а и о. Мы можем поэтому сказать, что в третьей задаче доверительная вероятность правила
равна
улГ(и/2) 2,„
сиJ (1+их2) "^dx.
Нам остается найти доверительную вероятность правила, устанавливающего границы для а. Использовав произведенные нами преобразования, находим, что
Pfo/ < а <Pfo/ < а <к = 2к = 2ог I я, о) = Рргог I я, о) = Рргtxo | а, а} .txo | а, а} .Отсюда, в силу результатов § 21 (распределение х2)Отсюда, в силу результатов § 21 (распределение х2)
Pfo/ < а <
Pfo/ < а <
к = 2
к = 2
ог I я, о) = Ррг
ог I я, о) = Ррг
txo | а, а} .
txo | а, а} .
Отсюда, в силу результатов § 21 (распределение х2)
Отсюда, в силу результатов § 21 (распределение х2)
Снова эта вероятность не зависит от значений параметров а и а. Следовательно, правило
хШ $!V« S]
< а <
7172
имеет доверительную веро ятно сть, равную
си = $ zn 2е dt.
Заметим в заключение, что из того, что при любых 9Х, б-г, ..., 0к имеет место равенство
Р{8' < 6 < 6" | 6Х, 02, . ... , 0к} = си
и из него вытекает равенство
р{8' < 8 < 8"} = со,
еще не следует, что
со = Р<в'Оь х2,..., х„) <
< 8 < 9"(хьх2, ...,х„)|х1,х2,...,х„}.
Проверка статистических гипотез
Предположим, что нам известна функциональная форма распределения случайной величины £, но неизвестны значения параметров 8,, 82, ..., 6к, от которых оно зависит. Имеются основания считать, что параметры имеют некоторые определенные значения 8] = 8°, 82 = 02, ..., 0к = 0°к (простая гипотеза) или же принадлежат некоторому множеству (сложная гипотеза). Требуется выяснить, подтверждают или не подтверждают эту гипотезу результаты наблюдений над величиной £.
Для того чтобы подчеркнуть практическую важность задачи, рассмотрим примеры.
Пример 1. Имеется большая партия продукции некоторого производства. Каждая единица этого продукта относится к одной из двух категорий: годная, бракованная. Вся партия считается пригодной к сдаче, если относительное число р бракованных единиц продукта невелико, скажем, не больше, чем некоторое число р0 (0 < р0 < 1). Число рнам неизвестно; его нужно найти путем исследования сравнительно небольшого (по отношению ко всему объему партии) числа изделий. Рассмотрим случайную величину £, равную 0, если взятое наудачу изделие окажется пригодным, и равную 1, если взятое наудачу изделие окажется бракованным. Функция рас-
■пределения £ равна
0
при
X :
< 0,
1 -р
при
0<
Сх< 1
1
При
X :
> 1.
F(x) =
Параметр р, от которого зависит распределение, неизвестен. Наша задача состоит в том, чтобы проверить гипотезу р<=рй.
^х-а?2 а1^х-а?2 а1Пример 2. Случайная величина £ распределена нормально
^х-а?
2 а1
^х-а?
2 а1
1'
р(х) = е о V 2 7Г
параметры а и а неизвестны. Требуется проверить гипотезу, что
| а - д0 | < а и а < о0 ,
где а0, о0 и а — некоторые известные числа. Эта и аналогичные задачи постоянно возникают в теории измерений, а также в естественно научных и производственных задачах.
Обозначим через п число наблюдений, на основании которых необходимо сделать заключение о подтверждении или опровержении сделанной гипотезы. Пусть
хь х2, ..., хп (1)
результаты этих наблюдений. Процесс проверки, ведущий к подтверждению или опровержению гипотезы, есть некоторое правило, согласно которому множество всех возможных результатов и наблюдений разбивается на две непересекающиеся части RnX и Rn2. При этом принадлежность чисел (1) к множеству Rnl будем считать подтверждением проверяемой гипотезы, а принадлежность их к множеству Rn2 — отрицанием проверяемой гипотезы. Если мы станем изображать числа (1) как координаты «-мерного евклидова пространства Rn, то, очевидно, каждый процесс проверки означает разбиение пространства Rn на части RnX и Rn2. При этом, если точка (хх, Хг, ..., хп) оказывается в части Rnl, то гипотеза принимается, а если (xt, х2, ..., х„) оказывается в части Rn2, то гипотеза отбрасывается. Множество Rn2 носит название критической области. Выбор правила проверки, таким образом, эквивалентен выбору критической области.
Для иллюстрации вернемся к примеру 1. Множество Rn в этом случае состоит из всевозможных совокупностей п чисел, каждое из которых мо-
жет принимать лишь значения 0 и 1. Критическая область Rnl состоит из тех элементов Rn, для которых
^(*! + х2 + ...+ х„) > р0.
Мы перейдем теперь к следующей частной задаче проверки гипотез, для которой имеется исчерпывающее решение: имеются две простые гипотезы Нх и //2. Гипотеза Н х состоит в том, что 9; = 6t (z = 1, 2, ..., ку гипотеза Нг — в том, что 0; = 65 (z = 1, 2, ..., ку Эти гипотезы конкурируют друг с другом и на основании произведенных наблюдений требуется одной из них отдать предпочтение.
Заметим, что при подтверждении или отрицании гипотезы Нх мы можем совершить ошибки двух видов. Ошибку первого рода мы совершаем тогда, когда отвергаем Нх в то время, когда в действительности она верна. Иными словами, ошибки первого рода имеют место тогда, когда точка (Xj, х2, ..., х„) попадает в область Rni в то время, когда верна гипотеза Н х. Ошибку второго рода мы совершаем, если принимаем Н х в то время, когда она неверна. Если критическая область выбрана, то вероятности ошибок первого и второго рода можно рассчитать; обозначим их для данных и и Rn2 соответственно буквами cq и а2.
Понятно, что чем меньше для данной критической области числа а2 и а2, тем удачнее выбрана критическая область. Однако при данном числе испытаний и невозможно ни при каком выборе критической области одновременно сделать как угодно малыми оба числа at и а2. В то же время изменением критической области мы можем добиться произвольной малости ошибок первого или второго рода в отдельности. Так, если положить Rnl = Rn, то ясно, что в этом случае а2 = 0; если же положить RnX = Rn, то ах = 0. Отсюда вытекает следующий рациональный принцип выбора критической области: при заданных значениях ах и п нужно выбирать ту область Rnl, для которой а2 достигает минимума. При этом, конечно, чем меньшее значение ах мы выбираем, тем большее значение получается для минимума а2. Заранее нельзя сказать, какое aj нужно выбрать, чтобы метод проверки гипотезы был самым выгодным, так как основную роль при этом играет практическая сторона дела.
Пусть для примера отбрасывание или прием гипотезы Нх связаны с материальными затратами. Если прием гипотезы Нх, в то время как она неверна, приводит к большим затратам (скажем, к необходимости ручной подгонки некоторых деталей, поступающих для сборки на некоторое предприятие), тогда как отбрасывание гипотезы Нх, в то время как она верна, приводит к сравнительно небольшим потерям, то ясно, что необходимо выбрать возможно меньшее а2 и при этом можно помириться со сравнительно большими значениями «1.
Предположим, что практические соображения приняты в расчет и величина «! выбрана; тогда имеет место следующее предложение, которое мы сформулируем лишь для того случая, когда величина £ имеет конечную плотность распределения вероятностей, как при гипотезе Нх, так и при гипотезе Н2.
Теорема. Среди всевозможных критических областей, для которых вероятность ошибок первого рода равна cq, вероятность ошибок второго рода принимает наименьшее значение для критической области Rnl, состоящей из всех тех точек (х,, Хг,..., х„), для которых
пп
П f(xk\H2)>c п f№i) \(2)
k = 1к = 1
Число с определяется из условия
ф(с) = Р{(Х!, х2х„) С R2 I Нх } = а,.(3)
До казательство. Так как (в случае независимых испытаний) вероятность точке (Xj, х2х„) находиться в какой-нибудь области S равна
P{S|^} = J ... J П f(xk \Hx)dxxdx2 ... dxn s к = i
при условии, что верна гипотеза Нх и
Р{5 | Я2} = J . .. J П f (xk\H2^dxxdx2 ... dxn S к = i
при условии, что верна гипотеза Я2 , то согласно предположению,
Р{Д*2 1^1 =
и для любой другой рассматриваемой нами области Д„2 также
Р{Д„2 |Яа= а,.
Согласно аксиоме сложения вероятностей
р{д„2 -R^Rni l#J =р{д„2 I^J-?Un2R*nl | я,} =
= ai — R^RniR-ni I нх^
и
Р<^2 -RniRni W = оц -PtRn2R„2 \на, т. е.
Р(Л„2 - R„2Rn2 | Я,} = Р{7?*2 - Rn2R„2 | Hxv
Согласно определению R„2 и последнему равенству
P^n2 -RnlRnl I Н2Ч > С P{Rn2 — RntRn2 I Hl) =
= cP{7?„2 - RmR*m I^J.(4)
Но для любой точки (x1( x2,..., x„), не принадлежащей R„2,
П /(хк|Я2) < с П f(xk\H2) к = 1к = 1
и, следовательно, поскольку область Rn2 - Rn2Rn2 находится целиком вне Rn2, должно быть
с P^Rni - RniRni \ нЛ > PtRni- Rn^Rni I Н2} •
Это неравенство вместе с (4) приводит нас к неравенству
P{^n2 - RnlRnl \ Н2} > P{Rn2 - Rn2R„2 I Hl^ •
Прибавив к обеим частям последнего неравенства P^R^R^H-^,находим, что
р<^2 ,я2} > рип2 |Я2}.
А так как
PU„ |Я2} = 1
и Rnl = Rn - Rn2, RnX = Rn - Rn2, to
PU^ |Я2} < pU„i \H2V
Так как P{7?nl | Я2) и P{7?nl | Я2} представляют собой ошибки второго рода для критических областей Rn2 и соответственно Rn2, то теорема доказана.
Нам остается подтвердить, что выбор постоянной с действительно можно произвести по правилу (3). С этой целью заметим, что функция
^(с) = P{^2|^}
с ростом с может только убывать (так как неравенству (2) будет удовлетворять все более и более ’’тощее” множество точек (хь х2,..., х„)). Кроме того, ясно, что ф(0) = 1 (так как для каждой точки (хь х2х„)
п
П Кхк I Я2) > 0.
к = 1
Далее из (2) следует, что
Р№|Я2} > cP{R*n2\H1}.
Заменив левую часть неравенства единицей и вспомнив определение Ф(с), находим неравенство
1 > сф(с).
Итак,
О < ф(с) < 1 /с.
Таким образом, ф(с) -* 0 при с -►оо. Так как функция ф^с) не возрастает, то при любом а, (0 < «i < 1) найдется такое с, что
ф(с-О) > dj > ф(с + 0).
Если в точке с функция ф(с) непрерывна, то выбор постоянной с согласно правилу (3) оправдан; если же в точке с функция ФСс) имеет разрыв, то положение несколько усложняется и требуется незначительно изменить определение множества R*n2 , исключив из него часть точек (х,, х2х„), для которых пп
п /(хк|Я2) = с П f(xk\H^, к = 1к = 1
и присоединив их к множеству R*x, так чтобы вероятность ошибок первого рода была равна а,.
Рассмотрим пример. Пусть известно, что £ распределено нормально с известной дисперсией а2. Относительно математического ожидания а имеются две гипотезы, состоящие в том, что а = ах (гипотеза Я,) и а = а2 (гипотеза Я2). Требуется найти выгоднейшую критическую область.
В нашем примере соотношение (2) может быть записано в следующем виде:
- —1 2 [(Xfc - аа )2 — <хк - aY )2 ]
2 а к = 1
е
Это неравенство, как легко подсчитать, эквивалентно следующему (в предположении, что а 2 > с 1):
"а2 In с п
^ хк > + -(й1 + а2)
к = 1д2 " °12
Ик =Ик =<хк - а^ ><хк - а^ >или, что то же самое, неравенству
И
к =
И
к =
<хк - а^ >
<хк - а^ >
a In схГп
определяет выгоднейшую критическую об-определяет выгоднейшую критическую об-+ -— (д2 - at) = кх, (а2 - a^xfn2(7
определяет выгоднейшую критическую об-
определяет выгоднейшую критическую об-
Полученное неравенство ласть R*2•
Так как величина
ИS (хк - а^ИS (хк - а^к = 1к = 1
И
S (хк - а^
И
S (хк - а^
к = 1
к = 1
распределена нормально, с математическим ожиданием 0 и дисперсией 1, если только гипотеза Нх имеет место, то по таблицам нормального распределения и заданному а, легко определить кх (и тем самым с). Пусть для определенности а, = 0,05. Тогда kY = 1,645 и, следовательно, наивыгоднейшая критическая область при aY = 0,05 определяется неравенством
Ик =Ик =(Хк - а^ > 1,645 а(Хк - а^ > 1,645 апп
И
к =
И
к =
(Хк - а^ > 1,645 а
(Хк - а^ > 1,645 а
п
п
Интересно отметить, что критическая область в нашем примере не зависит от конкурирующего значения а 2 .
Область R*nY определяется неравенством
п5 хкк = 1п5 хкк = 1a2 In сa2 In ся2 — aYя2 — aY+ 2^2 +61),+ 2^2 +61),
п
5 хк
к = 1
п
5 хк
к = 1
a2 In с
a2 In с
я2 — aY
я2 — aY
+ 2^2 +61),
+ 2^2 +61),
Ci).Ci).которое, очевидно, может быть записано в таком виде:
Ci).
Ci).
S (хк - а2) < кг аVn" к = 1
Величина, стоящая в левой части неравенства, в предположении, что имеет место гипотеза Я2, распределена нормально с математическим ожиданием 0 и дисперсией 1. Отсюда следует, что вероятность ошибки второго
рода равна
2
/\12
Ф^!(62-ai)j= / е dz.
'' хрГт — «>
Если заданы величины од и а2, то возникает задача определения минимального числа п = и (oi, а2) необходимых испытаний для того, чтобы ошибочные заключения могли быть сделаны с вероятностями, не большими, чем ах и а2.
С ростом п величина а2п = а2 (аь и) не возрастает и, вообще говоря, стремится к нулю. Очевидно, что M(alt a2) есть наименьшее из тех и, для которых а2 (а^, и) < а2 .
В только что рассмотренном примере число и по заданным значениям oil и а2 найти очень просто. В самом деле, из того, что
1 -Ф№) = «1
И
(
хГп\
^1— («2 -61)1= а2
мы получаем два уравнения:
кх = ^(1 - «1)
И
*15— (б2 - 61) = ^(а2),
п =п =где ф — функция, обратная для Ф(х). Отсюда
п =
п =
-—-—^0(1 -ai)-^(a2)]2.
(б2 - аху
Приведем небольшой числовой пример. Пусть
ах = 135, аг = 150, а = 25, а!=0,01, а2=0,03.
Поскольку
^(0,99) = 2,33, ^(0,03) = -1,88,
то
252,25
п =—— [2,33 + 1,88]2 =• 4,212 ~ 49.
152 LJ 9
Таким образом, минимальное число наблюдений, которое необходимо провести для выбора между гипотезами Н х и Я2 в случае нормального распределения и только что указанных данных, должно быть 49. Только при таком числе испытаний мы можем быть уверены в том, что если верна гипотеза Нх, то мы отбросить ее можем с вероятностью, не большей одной сотой, а если верна гипотеза Нг , то ее отбросить мы можем с вероятностью, не превосходящей 0,03.
Б.В. Гнеденко
ДОПОЛНЕНИЕ
ОЧЕРК ИСТОРИИ ТЕОРИИ ВЕРОЯТНОСТЕЙ
ГЛАВА 1
ПРЕДЫСТОРИЯ ПОНЯТИЯ ВЕРОЯТНОСТИ И СЛУЧАЙНОГО СОБЫТИЯ
Первые данные
Сейчас уже трудно установить, кто впервые поставил вопрос, пусть и в несовершенной форме, о возможности количественного измерения возможности появления случайного события. Ясно одно, что мало-мальски удовлетворительный ответ на этот вопрос потребовал длительного времени и значительных усилий ряда поколений выдающихся исследователей. В течение долгого периода исследователи ограничивались рассмотрением разного рода игр, особенно игр в кости, поскольку их изучение позволяет ограничиваться простыми и прозрачными математическими моделями. Однако следует заметить, что многие отлично понимали то, что позднее было прекрасно сформулировано Христианом Гюйгенсом: ’’... я полагаю, что при внимательном изучении предмета читатель заметит, что имеет дело не только с игрой, но что здесь закладываются основы очень интересной и глубокой теории”.
Мы увидим, что при дальнейшем прогрессе теории вероятностей глубокие соображения как естественнонаучного, так и общефилософского характера играли большую роль. Эта тенденция продолжается и в наши дни: мы постоянно наблюдаем, как вопросы практики - научной, производственной, оборонной — выдвигают перед теорией вероятностей новые проблемы и приводят к необходимости расширения арсенала ее идей, понятий и методов исследования.
На первом этапе изучения случайных явлений внимание ученых было сосредоточено на трех задачах: 1) подсчет числа различных возможных исходов при бросании нескольких костей; 2) раздел ставки между игроками, когда игра прекращена где-то посередине; 3) определение числа бросаний двух или нескольких костей, при котором число случаев, благоприятствующих выпадению на всех костях одинаковых граней (например, ’’шестерок”) хотя бы при одном бросании было большим, чем число случаев, когда это событие не появится ни разу.
Число различных исходов при бросании трех игральных костей было определено в 960 г. епископом Виболдом из города Камбрэ. Он считал, что таких исходов 56 (он Не принимал во внимание то обстоятельство, что данное число очков может появиться на любой из трех костей). Бросанию трех костей Виболд придал религиозную трактовку - с появлением каждого набора трех чисел он связал одну из 56 добродетелей. Описание правильных подсчетов было дано в XI веке летописцем Балдерику- сом, а появилось оно в печати лишь в 1615 г.
Попытка подсчитать число исходов при бросании трех игральных костей, включая и перестановки, имеется в поэме Ричарда де Форниваль (1200-1250) ”De vetula ”, написанной в промежутке от 1220 до 1250 г. В части поэмы, посвященной играм и спорту, имеются следующие рассуждения: ’’Одинаковое число очков на трех костях можно получить шестью способами. Если число очков на двух костях совпадает, а на третьей от него отлично, то мы имеем 30 способов, поскольку одна пара может быть выбрана 6 способами, а третье число лишь пятью. Если очки на всех костях различны, то мы имеем 20 способов, потому что 30 раз по 4 равно 120, но каждая возможность появляется 6 способами. Таким образом существует всего 56 возмож-
ностей. Одинаковые числа очков на всех костях можно получить только единственным способом; одинаковые числа очков на двух костях, а третье отличное от них — тремя способами”.
Хотя в тексте явно указано лишь число случаев по Виболду (56), но фактически Ричард де Форниваль полностью подготовил подсчет обшего числа равновероятных случаев при бросании трех костей, а именно 6 -1 + 30-3 + 20-6 = 216.
Далее Форниваль привел таблицу, в которой вычислены числа способов, которыми может быть получена данная сумма очков на всех трех костях. Мы приведем эту таблицу в укороченном виде. В первых двух столбцах приведены суммы очков на трех
. Таблица 18
Сумма
Число способов
Сумма
Число способов
1т
■Сумма ;
Число способов
3
18
1
615
10
912
25
4
17
714
15
ТОИ
27
5
16
6
813
21
костях, а в третьем столбце - число различных случаев, при которых реализуется эта сумма. Все подсчеты выполнены без ошибок, да и рассуждения, проведенные автором, вполне логичны и даже можно сказать современны в нашем смысле слова. Это обстоятельство заслуживает быть отмеченным, поскольку эти же самые подсчеты через двести с лишним лет были выполнены неправильно. А именно в 1477 г. Бенвенуто Д Имола издал в Венеции ’’Божественную комедию” Данте, снабдив ее комментариями. В комментарии к VI части ’’Чистилища”, в которой говорится об игроке в кости, Д’ Имола произвел подсчеты шансов. Согласно его рассуждениям сумма очков при бросании трех костей, равная 3, 4, 17 и 18. может получаться одним единственным способом. Ошибка Б. Д’Имола очевидна и ее нет нужды комментировать.
Заслуживает специального упоминания одна из первых математических книг начала эпохи итальянского Возрождения, написанная Лукой Пачоли (ок. 1445-ок. 1514) и носившая наименование ’’Сумма знаний по арифметике, геометрии, отношениям и пропорциональности”. Написана эта книга была в 1487 г., но издана лишь через семь лет в Венеции. Поскольку задачи Луки Пачоли сыграли определенную роль в формировании интереса к теории вероятностей, мы приведем их формулировку. В разделе ’’необычных задач" в упомянутой книге были помешены две следующие:
Компания играет в мяч до 60 очков и делает ставку в 22 дуката. В связи с некоторыми обстоятельствами игра прекращена до ее окончания причем одна сторона в этот момент имеет 50, другая - 30 очков. Спрашивается, какую часть обшей ставки должна получить каждая сторона?
Трое соревнуются в стрельбе из арбалета. Кто первым достигнет 6 лучших попаданий, тот выигрывает. Ставка 10 дукатов. Когда первый получил 4 лучших попадания, второй 3, а третий 2, они не хотят продолжать и решают разделить приз справедливо. Спрашивается, какой должна быть доля каждого?
Пачоли предложил решение, которое позднее многократно оспаривалось, поскольку оно было признано ошибочным. А именно, он предложил делить ставку пропорцио- 13*
нально числу выигранных партий. Таким образом в первой задаче решение Пачоли таково: первый должен получить 5/8 ставки, т.е. 13,75 дуката, а второй 3/8 ставки, т.е. 8,25 дуката. Во второй же задаче, согласно Пачоли, первый должен получить 4 и 4/9 дуката, второй 3 и 3/9 дуката и третий 2 и 2/9 дуката'.
Исследования Дж. Кардано и Н. Тарталья
Несомненно, что существенное продвижение в решении первичных задач теории вероятностей связано с именами итальянских ученых Дж.Кардано (1501-1575) и Н.Тарталья (ок. 1499-1557). В рукописи ’’Книга об'игре в кости’’, датированной самим Кардано 1526 г., но изданной лишь в 1563 г., были решены многие задачи, связанные с бросанием игральных костей и выпадением на них того или иного числа очков. Он правильно подсчитал числа различных случаев, которые могут произойти при бросании двух и трех костей. Словесные формулировки при этом достаточно сложны. Вот, для примера, что он писал в главе XI "О бросании двух костей”: "При бросании двух костей возможны 6- случаев по два одинаковых числа и 15 случаев выпадения разного числа очков, т.е., считая и двойные, 30. Следовательно, всего возможно 36 случаев”. Под двойными выпадениями он понимает выпадение на двух костях очков, получаемых перестановкой. Например, двойным к случаю выпадения на первой кости 2 очков, а на второй 5 будет выпадение 5 очков на первой кости и 2 на второй.
Кардано указал далее число возможных случаев появления хотя бы на одной кости определенного числа очков. Таких случаев оказалось 11. Заслуживают упоминания слова Кардано: "число это меньше, чем число случаев отсутствия данного числа очков. По отношению к общему числу случаев при бросании двух костей оно составляет больше одной шестой и меньше одной четверти”. Здесь у Кардано ошибка: нужно было сказать меньше одной трети, поскольку 11/36 не меньше, а больше 1/4.
Это место заслуживает пристального внимания, поскольку Кардано дважды предложил рассматривать отношение, которое теперь мы называем классическим определением вероятности. А именно, 1/6 — это вероятность появления заданного числа очков при бросании одной кости, а 11/36 - вероятность получить хотя бы на одной кости грань с заданным числом очков. Означает ли это, что Кардано решил рассматривать вместо чисел благоприятствующих шансов вероятности случайных событий, т.е. ввел в рассмотрение классическое определение вероятности? Судя по всему, это было озарение только для данного примера. Повидимому, Кардано хотел выяснить вопрос: что чаще происходит - при бросании одной кости выпадение заданного числа очков или же при бросании двух костей выпадение этого числа очков хотя бы на одной кости? Ответ был найден и на этом Кардано успокоился. Единичное наблюдение он не сделал основой для общего заключения. В результате он не заметил, что стоял на пороге введения важного понятия для всего дальнейшего развития большой главы математики, да и всего количественного естествознания.
Этот вывод подкрепляется тем, что в следующей главе, в которой рассматривается бросание трех костей, Кардано уже не обращается к отношению числа благоприятствующих шансов к числу всех возможных. Все усилия Кардано затратил на подсчет числа возможных случаев.
В тринадцатой главе ”0 сложных числах, как до шести, так и свыше и как для двух, так и для трех костей", Кардано вновь возвратился к рассмотрению отношений числа благоприятствующих случаев к числу всех возможных случаев. Однако и здесь Кардано не заметил, что он находился на грани введения важного для науки понятия. Вот его подлинные слова: "Десять очков (в сумме - Б.Г.) может получиться из двух пятерок и из шестерки и четверки. Последнее сочетание возможно при этом в двух видах. Таким же образом девять очков может получиться из пятерки и четверки и из
шестерки и тройки, так что это составляет 1/9 всей серии ) и две девятых ее половины. Восемь же очков получается из двух четверок, из 3 и 5 и из 6 и 2. Всего же 5 возможных случаев составляет приблизительно 1/7 часть из всей серии ... 7 очков составляется из 6 и 1, из 5 и 2, из 4 и 3. Всего, стало быть, имеется 6 возможных случаев, составляющих 1/6 всей серии. А 6 получается по такому же расчету, как и 8; 5 - как 9; 4 - как 10; 3 - как 11 и 2 - как 12". ’
Вновь Кардано оперирует фактически классическим понятием вероятности, но не замечает его значения для изучаемых им задач. Рассматриваемые им отношения воспринимаются им скорее чисто арифметически, как доля случаев, чем как характеристика возможности появления случайного события при испытании.
В главе XI имеется одно предложение, которое рядом автором .трактуется весьма широко, хотя, как мы сейчас увидим, его формулировка достаточно неопределенная. Вот эти слова Кардано: "Целая серия игр не дает отклонения, хотя в одной игре это может случиться ... при большом числе игр оказывается, что действительность весьма приближается к этому предположению”. Ссылаясь на это место, В.В. Бобынин ) сделал далеко идущий вывод: "этот закон (больших чисел - Б.Г.) уже с достаточной ясностью был выражен в XVI столетии Карданом в его статье ”De ludo aleae”. Позднее О. Оре) в книге, посвященной Кардано, писал, что этот последний формулировал и использовал закон больших чисел в рудиментарной форме. Вполне возможно, что мнение Оре имеет некоторые основания, но следует заметить, что формулировка Кардано весьма неопределенна.
В той же книге Кардано приблизился к определению безобидной игры, что видно из следующего предложения, заимствованного из этой книги: ’’Итак, имеется одно общее правило для расчета: необходимо учесть общее число возможных выпадений и число способов, которыми могут появиться данные выпадения, а затем найти отношение последнего числа к числу оставшихся возможных выпадений, приблизительно в такой же пропорции определяются относительные размеры ставок для того, чтобы игра шла на равных условиях”. Однако мнение ряда авторов относительно того, что в этом месте Кардано приблизился к классическому определению понятия вероятности, мне представляется ошибочным.
Задача Пачоли о разделе ставки до окончания игры интересовала также и Кардано. В книге ’’Практика обшей арифметики”, изданной в 1539 г., Кардано привел ряд критических замечаний в связи с решением Пачоли. Он указал на то, что Пачоли, предлагая делить ставку пропорционально числу уже выигранных партий, никак не учитывает, как много партий еще нужно выиграть каждому из игроков. Согласно мнению Кардано, если s - число партий, которое следует выиграть, а р и q — числа фактически выигранных партий первым и вторым игроками, то ставка должна делиться между игроками в отношении
[1 + 2 + ... + (s - р)] : [ 1 + 2+ ... + ($-?)].
Как мы увидим позднее, решение, предложенное Карданом, в общем случае ошибочно и лишь в некоторых весьма частных случаях оно приводит к правильному результату.
К задаче о разделе ставки вновь вернулся Н. Тарталья в книге ’’Общий трактат о мере и числе", которая была опубликована в 1556 году. Его подход изложен в § 20 книги, озаглавленном "Ошибка брата Луки из Борго”. Критические замечания Тарталья верны и имеют под собой серьезный здравый смысл. Вот его слова: ’’Это его правило мне не кажется ни красивым, ни хорошим, потому что если бы одна из этих сторон имела 10, а другая вообще не имела никакого очка, то действуя по такому правилу, получилось бы, что одна сторона, имеющая указанные 10 очков, должна была бы взять все. а другая не получила бы ничего, что было бы совершенно лишено смысла.”
Для первой задачи Пачоли (сттзмененным условием) Тарталья предложил следующее решение: первый игрок, набравший 10 очков, должен получить, во-первых, половину всей ставки и, во-вторых, (10-0) /60 всей ставки, или 22/6 дуката, т.е. всего 14 и 2/3 дуката, а второй 7 и 1/3 дуката.
Мы увидим, что решение, предложенное Тарталья, также ошибочно. Но следует согласиться с тем, что трудно было бы требовать от него самого и его предшественников правильного решения, поскольку в науке для этого еше не было выработано необходимых понятий - понятия вероятности и математического ожидания. Следующее замечание Тарталья убедительно показывает, что он и сам не доверял своему решению. Вот эти слова: ’’Разрешение такого вопроса является скорее делом юриспруденции, чем разума, так что при любом способе решения этой задачи найдутся поводы для споров, но тем не менее наименее спорным, как мне кажется, будет следующее ... ”. Далее он предложил делить ставку по такому правилу: отклонение выигрыша от половины ставки должно быть пропорционально разности выигранных партий. В только что приведенном примере, в котором игра шла до шестидесяти очков и ставка равнялась 22 дукатам, первый игрок выиграл 10 партий, а второй - 0, доли игроков согласно предложению Тарталья таковы:
14 и 2/3 = 11 + (10 - 0)/60 -22 и И + (0 - 10)/60 • 22 = 7 и 1/3.
В 1558 г. была опубликована книга Г.Ф. Певероне "Два коротких и легких трактата по началам арифметики и основам геометрии”. В этой книге без указания предшественников была рассмотрена задача о разделе ставки. Формулировка задачи такова: два лица А и В играют в мяч до выигрыша одним из них 10 партий. В тот момент, когда игрок А выиграл 7 партий, а игрок 5-9, они решили прекратить игру. Как следует разделить ставку между игроками?
Певероне предложил разделить ставку в отношении 1 к 6, т.е. игроку А отдан. 1/7 ставки, а игроку В - 6/7 ставки. Это решение неправильно. Легко подсчитать, что А должен получить 1/8, а игрок В - 7/8 ставки. В тоже время он дал правильное решение в двух случаях, когда игроки А и В выиграли по 9 партий, а также в случае, когда игрок А выиграл 8 партий, а игрок 8-9 партий.
Исследования Галилео Галилея
Мы видим, что уже в XVI веке возникли задачи чисто вероятностного характера и упорно разыскивались подходы к их решению. Это неизбежно приводило к необходимости развития, с одной стороны, комбинаторных методов, а с другой стороны - к поиску тех понятий, в терминах которых было бы можно описывать возникающие ситуации. Ошибки, допущенные одними исследователями, подмечались другими. Эти другие предлагали свои способы решения, которые в свою очередь подвергались критическому анализу. Постепенно вырабатывались подходы, которые позднее становились основой новой теории и, во всяком случае, позволяли решать отдельные задачи.
Заслуживает внимания вклад в этот прогресс известного естествоиспытателя, ученого широких интересов и взглядов - Галилео Галилея (1564-1642). Его работа ”0 выходе очков при игре в кости”, увидевшая свет только в 1718г., была посвящена подсчету числа возможных случаев при бросании трех костей. Число всех возможных случаев Галилей подсчитал самым простым и естественным путем - он возвел 6 (число различных возможностей при бросании одной кости) в третью степень и получил 63 = 216, что неоднократно непосредственным подсчетом получалось и ранее.
Далее Галилей подсчитал число различных способов, которыми может быть получено то или другое значение суммы выпавших на костях очков. Ясно, что эта сумма может принимать любое значение от 3 до 18. При подсчете Галилей пользовался полезной идеей - кости нумеровались (первая, вторая, третья) и возможные исходы записывались в виде троек чисел, причем на соответствующем месте стояло число очков, выпавшее на кости с данным номером. Эта простая мысль для своего времени была весьма полезной. Приведем теперь подлинные слова Галилея: ’’...хотя 9 и 12 получаются в результате стольких же комбинаций, как 10 и 11, и вследствие этого должны были бы признаваться равноценными, мы видим, тем не менее, что в результате продолжительных наблюдений игроки все же считают более выигрышными 10 и И, чем 9 и 12. Совершенно очевидно, что 9 и 10 (мы говорим о них, имея в виду также 12 и И) получаются из того же числа комбинаций: 9 из 1, 2,6 - 1,3,5 - 1,4,4 - 2,2,5 - 2,3,4 - 3,3,3, т.е. из шести троек, а 10 из 1,3,6 - 1,4,5 - 2,2,6 - 2,3,5 - 2,4,4 - 3,3,4 и ни при каких других сочетаниях, кроме этих шести” (G.Galilei, Opera, t. XIV, р. 293, Fiorentina, 1855).
Возникает естественный вопрос, почему же все-таки сумма 10 оказывается более предпочтительной, чем 9? Ответ заключается в следующем: ”1. Тройки, или другими словами, числа, получающиеся при выпадении трех костей с тремя одинаковыми очками, не могут получиться иначе, как одним способом; 2. Тройки, образующиеся из двух одинаковых и третьего отличного от них, могут получаться тремя способами; 3. Те же, которые получаются из трех различных очков, могут получаться шестью способами. Из этих положений мы легко выводим, какими способами или, лучше сказать, при каких выходах трех костей могут получаться все числа” (там же. с. 295).
В завершающей части работы Галилей привел следующую таблицу.
В верхней строке указаны значения суммы чисел выпавших очков. Первые три цифры в каждой клетке указывают как может получиться сумма в соответствующем
Таблица 19
10
9
8
7
6
5
4
3
631 6
621 6
611 3
511 3
411 3
311 3
2113
111 1
622 3
531 6
521 6
421 6
321 6
2213
5416
522 3
431 6
331 3
222 1
532 6
4413
422 3
3223
442 3
432 6
332 3
433 3
3331
27
25
21
15
10
6
3
1
столбце, четвертая цифра — число возможных различных случаев. Например, против тройки 631 указано 6 случаев; вот они: 631 - 136 - 316 - 613 - 163 - 361. Комбинация 361, ДЛЯ примера, означает, что на первой кости выпали 3 очка, на второй -би на третьей - 1.
В таблице приведены результаты лишь для половины всех возможных сумм. Вторая половина вычисляется в точности таким же образом. В результате оказывается, что сумме 11 благоприятствует 27 различных возможностей, 12 - 25, 13 - 21, 14 - 15, 15 - 10, 16 - 6, 17 - 3 и 18 - 1. С учетом этого сумма всех возможных вариантов выпадения трех костей равна 2 (1 + 3 + 6+ 10+ 15 + 21 + 25+ 27) = 216.
Заметим, что Галилей, в сущности, повторил результаты, полученные значительно раньше рядом предшественников - епископом Виболдом, Ричардом де Форнивалем и рядом других. Однако эта, теперь такая простая для студента второго курса университета задача, в ту пору была серьезным испытанием и для мыслителя столь высокого ранга как Галилей. Вот что он сам писал по этому поводу: ’’Чтобы выполнить данное мне поручение, стоившее мне таких трудов, изложу мои соображения в надежде не только разрешить указанное недоразумение, но и указать путь к точнейшему изложению основания, которые позволят осветить все особенности игры” (там же, с. 293).
Заметим, что и у Галилея, как и у его предшественников, рассуждения ведутся не над вероятностями случайных событий, а над числами шансов, которые им благоприятствуют.
Для теории вероятностей и математической статистики большее значение, чем только что рассмотренная работа, имеют его соображения по поводу теории ошибок наблюдений. До него никто этим не занимался. Таким образом, все, что он написал на эту тему, ново для его времени и важно даже в наши дни. Свои мысли и выводы он достаточно подробно изложил в одном из основных своих произведений ’’Диалог о двух главнейших системах мира птоломеевой и коперниковой” (М. - Л., 1948).
Согласно Галилею, ошибки наблюдений являются неизбежными спутниками каждого измерения, каждого экспериментального исследования. ”В каждой комбинации наблюдений будет какая-нибудь ошибка; я думаю, что это неизбежно . . . ” (’’Диалог . . .”, с. 214). При этом ошибки могут быть двух типов: систематические, связанные прочно со способом измерений и с используемыми инструментами, и случайные, которые меняются непредсказуемым образом от одного измерения к другому. Эта классификация сохранилась до нашего времени и широко используется во всех руководствах по теории ошибок измерений.
Случайные ошибки измерений обладают некоторыми характерными особенностями. Их Галилей старательно выделил и проанализировал. Во-первых, малые ошибки встречаются чаще, чем большие, поэтому, как правило, в результаты измерений следует вносить лишь небольшие поправки. Далее, положительные ошибки встречаются так же часто, как и отрицательные. ’’Можно одинаково легко ошибаться как тем, так и другим образом” (там же, с. 125). Далее Галилей отметил, что около истинного результата должно группироваться наибольшее число измерений. ’’Среди возможных мест истинное местонахождение, надо думать, будет то, вокруг которого группируется наибольшее число расстояний” (там же, с. 216).
Эти исследования Галилея имеют принципиальное значение, поскольку они положили начало новой научной дисциплине - теории ошибок наблюдений. Эта теория, несомненно, сыграла важную роль в формировании теории вероятностей, но еще большее значение она имела для развития математической статистики. Это тем более так, что теория случайных ошибок наблюдений в настоящее время рассматривается в качестве естественной задачи математической статистики.
Вклад Б. Паскаля и П. Ферма в развитие теории вероятностей
Обычно считают, что теория вероятностей зародилась в переписке двух великих ученых - Б. Паскаля (1623 - 1662) и П. Ферма (1601 - 1665). От этой переписки сохранилось лишь три-письма Паскаля (от 29 июля, 24 августа и 27 октября 1654 г.) и четыре письма П.Ферма (одно письмо без даты и письма от 9 августа, 29 августа, 25 сентября 1654 г.) Самое первое письмо Б. Паскаля утрачено и о его содержании можно судить лишь по ответу Ферма.
В 1950 - 1951 г., в связи с приближавшимся тогда 150-летним юбилеем М.В. Остроградского (1801 - 1862), мне было поручено изучить архивы этого ученого, хранящиеся в Государственной публичной библиотеке УССР. Среди рукописей нашелся фрагмент (лист 904), явно относившийся к вводной лекции по теории вероятностей. Из литературных источников известно, что в 1858 г. Остроградский прочитал в Михайловском артиллерийском училище двадцать лекций по теории вероятностей с целью развития кругозора слушателей и их научной инициативы. Более того, три из них даже были изданы. Однако ни одной из них мне не удалось найти. Тем интереснее было познакомиться с обнаруженным фрагментом, который я считаю полезным привести здесь полностью.
"Теорию вероятностей должно отнести к наукам нового времени, ибо настоящее ее начало не восходит дальше половины XVII столетия. Правда, некоторые предметы, относящиеся к этой науке, были известны во времена весьма отдаленные и постоянно делались расчеты, основанные на продолжительности средней жизни, известны были морские страхования, знали число случайностей в азартных играх, но только в самых простых, найдены были величины ставок или закладов, безобидных для игроков, но подобные выводы не были подчинены никаким правилам. Однако же теорию вероятностей считают наукой нового времени и ее начало относят к первой половине XVII столетия, ибо прежде этой эпохи вопросы о вероятностях не были подчинены математическому анализу и не имелось никаких точных общих правил для решения их.
Паскаль, а за ним Ферма, геометры XVII столетия, по справедливости считаются основателями науки о вероятностях. Первый вопрос, относящийся к этой науке, и довольно сложный, решен Паскалем. Вопрос, о котором говорим, был предложен Паскалю кавалером де Мере и состоял в следующем условии. Два игрока начали игру, состоящую из данного числа партий, положим 30-ти, розыгрыш каждой партии непременно выигрывается одним из игроков, и тот из них, кто выиграл бы прежде другого тридцать партий, считался окончательно выигравшим и вязл бы обе ставки, внесенные в начале игры. Но игроки согласились прекратить игру, не окончив ее, т.е. одному не хватало до выигрыша тридцати партий некоторого числа, например, трех партий, а другому, положим, пятнадцати партий. Внесенные ставки для безобидности, конечно, должны быть разделены между игроками так, чтобы тот, кому недостает до выигрыша большего числа партий, получил бы меньшую сумму, а противник его большую, именно безобидный раздел требует, чтобы каждый игрок получил часть внесенной суммы, пропорциональную вероятности своего выигрыша. Итак, нужно найти эту вероятность. Паскаль нашел ее, а потом вопрос де Мере предложил Ферма. Последний немедленно нашел решение и даже для случая более сложного, когда игра происходит не между двумя только, а между произвольным числом игроков.
Замечательно, что имя кавалера де Мере, человека светского и не имевшего никакого преуспевания на поприще математических наук, остается навсегда в истории этих наук".
Мы видим теперь, что оценка, данная роли Паскаля и Ферма Остроградским, несколько завышена. Впрочем, такой же точки зрения придерживаются многочисленные
историки науки. Однако в переписке Паскаля с Ферма еще отсутствует понятие вероятности, и оба они ограничиваются рассмотрением числа благоприятствующих событию шансов. Конечно, у этих авторов впервые в истории имеется правильное решение задачи о разделе ставки, которая, как мы знаем, отняла много усилий у исследователей в течение длительного времени. Оба они исходили из одной и той же идеи: раздела ставки в отношении, пропорциональном, как мы теперь сказали бы, вероятностям окончательного выигрыша каждого игрока. В предложенных ими решениях можно увидеть зачатки использования математического ожидания и в весьма несовершенной форме теорем о сложении и умножении вероятностей. Точнее сказать не вероятностей, а шансов, благоприятствующих тому или иному событию. Это был серьезный шаг в создании предпосылок и интересов к задачам теоретико-вероятностного характера. Второй шаг был сделан также Паскалем, когда он существенно продвинул развитие комбинаторики и указал на ее значение для зарождающейся теории вероятностей.
Толчком к появлению интересов Паскаля к задачам, приведшим к теории вероятностей. послужили встречи и беседы с одним из придворных французкого королевского двора - шевалье де Мере (1607 - 1648). Де Мере интересовался философией. литературой и одновременно был страстным игроком. В этой страсти были истоки тех задач, которые он предложил Паскалю. Вот эти вопросы:
Сколько раз надо подбросить две кости, чтобы число случаев, благоприятствующих выпадению хотя бы раз сразу двух шестерок, было больше, чем число случаев, когда ни при одном бросании не появляются две шестерки одновременно?
Как нужно разделить ставку между игроками, когда они прекратили игру, нс набрав необходимого для выигрыша числа очков?
Де Мере претендовал, что первую задачу он решил. Однако при ближайшем рассмотрении в его рассуждениях легко обнаружить ошибку А именно, в одном из писем де Мере Паскалю содержится такая фраза: "Если в одном случае есть один шанс из Ло в единственной попытке и в другом случае один шанс из Л', , г о отношение соответствующих чисел есть .Vu: А\. Таким образом, п6 : Ло =н , : .V, ".
Обозначения и смысл этой фразы требуют пояснения. В приведенном письме речь идет о следующем: при бросании одной кости имеется А„ ~ о различных исходов и выпадению шестерки благоприятствует один из них. При бросании двух костей сразу выпадению шестерки на двух костях благоприятствует лишь один исход из Л', = 36 возможных. При бросании одной кости п0 (= 4) раз число благоприятствующих исходов для выпадения шестерки первосходит число благоприятствующих случаев ее невыпадсния. Символом н, обозначим число бросаний двух костей, при коюром число благоприятствующих случаев выпадения одновременно двух шестерок превзойдет число благоприятствующих случаев для их невыпадсния ни разу. Из правила де Мере вытекает, что уже при 24 бросаниях двух костей наступает интересующее нас событие.
В действительности правило де Мере ошибочно, поскольку вероятность того, что при четырех бросаниях одной кости ни разу не появится шестерка, равна (5/6)4 - = 625/1 296 и. значит, искомая вероятность равна I - 625/1 296 = 671 1296. В этом пункте де Мере оказался прав, но при 24 бросаниях двух костей вероятность ни разу нс выбросить сразу две шестерки равна (35/36) 24 = 0.509. а искомая вероятность хотя бы раз выбросить две шестерки сразу есть I - (35/36)24 = 0.491. Легко понять, что двадцати четырех бросаний еще недостаточно, а нужно по меньшей мере двадцать пять бросаний двух костей, чтобы вероятность выпадения сразу двух шестерок превосходила 0,5.
При изложении мы воспользовались современным языком и употребляли понятие вероятности. Подход де Мере бы., обычным для того времени и ограничивался лишь подсчетом числа благоприятствующих тому или иному событию шансов.
Основное содержание писем Паскаля и Ферма посвящено разделу ставки. Решение, предложенное Паскалем, в подробностях изложено в письме от 29 июля:
"Вот примерно, что я делаю для определения стоимости каждой партии, когда два игрока играют, например, на три партии и каждым вложено по 32 пистоля.
Предположим, что один выиграл две партии, а другой одну. Они играют еще одну партию, и если выигрывает первый, то он получает всю сумму в 64 пистоля, вложенную в игру; если же эту партию выигрывает второй, то каждый игрок будет иметь по 2 выигранных партии, и, следовательно, если они намерены произвести раздел, каждый должен получить обратно свой вклад в 32 пистоля.
Примите же во внимание, монсеньер, что если первый выиграет, то ему причитается 64: если он проиграет, то ему причитается 32. Если же игроки не намерены рисковать на эту партию и хотят произвести раздел, то первый должен сказать: "Я имею 32 пистоля верных, ибо в случае проигрыша я их также получил бы. но остальные 3 2 пистоля могут быть получены либо мной, либо Вами, случайности равны. Разделим же эти 32 пистоля пополам, и дайте мне, кроме того, бесспорную сумму в 32 пистоля".
Далее Паскаль рассмотрел другой случай, когда первый игрок выиграл две партии. а второй ни одной и третий, когда, первый игрок выиграл одну партию, а второй ни одной. В обоих случаях рассуждения при решении подобны тем. которые уже были проведены. Ответы же. предложенные Паскалем, таковы: в первом случае один игрок должен получить 56, а второй - 8 пистолей: во втором же 44 и 20.
Решение, которое для задачи Паскаля предложил Ферма, дошло до нас только по изложению, которое содержится в письме Паскаля от 24 августа. Письмо же Ферма с оригинальным текстом не сохранилось. Пусть до выигрыша игроку А недостает двух партий, а игроку В - трех партий. Тогда для завершения игры достаточно сыграть еще максимум четыре партии. Их возможные исходы представлены в виде следующей таблицы:
Та б л и ц а 20
Партии
Возможные исходы партий
1АААА
2АА А В
3ААВА
4ААВ В
ABAAABBAВВВА
ВААВBABAВВАВ
ВАЛАВВААВАВВ
А В А ВАВ В В
В В В В
игра выиг-А после
рана игрокомдвух партий
.4 послеА послеВ после
четырехтрехтрех или четы-
партийпартийрех партий
В этой таблице символом А обозначен выигрыш соответствующей партии игроком .4. символом В -■ игроком В. Номера партий идут по строкам. В первых одиннадцати исходах выигрывает ит-рок А, в последних пяти - игрок В. Таким образом ставка между игроками А и В должна быть разделена в отношении 11 к 5.Иными словами игрок А получит 11/16. а игрок В -- 5/16 ставки. Совершенно очевидно.что Ферма, также как и Паскаль, делит ставку пропорционально-вероятностям выигрыша каждым из игроков всей игры. Но этого понятия в их руках еще нет и они вынуждены искать иные способы выражения своих идей. В результате они сами не замечают.
что их исходные позиции одинаковы. Это отчетливо видно из письма Паскаля от 27 октября, в котором он писал: ’’Сударь, я очень доволен Вашим последним письмом, я любуюсь методом в отношении партий, тем более, что я его хорошо понимаю, он полностью Ваш, ничего общего не имеет с моим и легко приводит к той же самой цели”.
В письме от 24 августа Паскаль высказал сомнение в том, что метод Ферма можно распространить на число игроков, большее двух. Однако Ферма показал, что теми же рассуждениями можно решить задачу о разделении ставки и для случая трех игроков. Это решение им было использовано в задаче о трех игроках, когда до окончания игры игроку А недостает одной выигранной партии, а игрокам 8 и С - по две. Это решение вновь сопровождается таблицей, смысл которой пояснять уже нет необходимости:
Таблица 21
АААААААААВВВСС АААВВВСССААААА АВСАВСАВСАВСАВАААААААААВВВСС АААВВВСССААААА АВСАВСАВСАВСАВС В С А В В В С С С С С В А С В В В В С В С С С В С С А А В А С В В С А В С СС В С А В В В С С С С С В А С В В В В С В С С С В С С А А В А С В В С А В С С
АААААААААВВВСС АААВВВСССААААА АВСАВСАВСАВСАВ
АААААААААВВВСС АААВВВСССААААА АВСАВСАВСАВСАВ
С В С А В В В С С С С С В А С В В В В С В С С С В С С А А В А С В В С А В С С
С В С А В В В С С С С С В А С В В В В С В С С С В С С А А В А С В В С А В С С
ААААААААААААААААА В В В В В С С С С С
В своем письме Паскаль отметил, что Роберваль (1604 - 1675) спросил его зачем рассматривать продолжение игры до четырех партий в тех случаях, когда уже ясно какой из игроков выигрывает игру? Паскаль явно понимал, что это необходимо для сохранения равновозможности всех перечисляемых случаев. Так в первых четырех исходах первой таблицы игрок А выигрывает всю игру уже после двух партий. Точно также в первых девяти исходах второй таблицы игрок А выигрывает игру после первой партии. Тем не менее Ферма доводит таблицу до конца и рассматривает все возможные случаи исхода четырех партий. Этим самым Паскаль и Ферма избежали ошибки, которую допустил в следующем столетии Даламбер, когда подсчитывал число равновероятных случаев при бросании двух монет.
При рассмотрении второй таблицы Паскаль допустил неточность в рассуждениях. А именно он считал, что из 27 возможных исходов бесспорно благоприятствуют игроку А лишь 13, а исходы 5, 11, 19 столбцов, также как 9, 15 и 24 благоприятствуют сразу и игроку А и угроку В (как А, так и С), поэтому их следует брать с половинным весом. В результате Паскаль предлагал делить ставку в отношении 16 :5, 5:5, 5. Ошибка Паскаля нам теперь очевидна.
Паскаль одновременно с размышлениями над проблемами, составившими содержание его переписки с Ферма, разрабатывал вопросы комбинаторики. Результатом этого явился ’’Трактат об арифметическом треугольнике”, опубликованный в 1665 г. и внесший серьезный вклад в развитие комбинаторики. В этом трактате имеется па: раграф, в котором изложены правила использования комбинаторных результатов в задаче о разделе ставки. Правило, предложенное Паскалем, состоит в следующем: пусть игроку до выигрыша всей игры не хватает т партий, а игроку В - п партий, тогда ставка должна делиться между игроками в таком отношении:
п — 1 т — 1
2 С ‘ ■ L С'
( = 0 т+ п — 1 ' t = о т+п — 1'
Работа X. Гюйгенса
Несомненно, что на развитие теории вероятностей значительное влияние оказала работа X. Гюйгенса (1629 - 1695). Интерес Гюйгенса к этим вопросам был вызван его поездкой в Париж в 1655 г., где он познакомился с рядом видных ученых и услышал от них сведения относительно задач о разделе ставки в азартных играх, которые разрабатывались Паскалем и Ферма. Повидимому, ему стали известны и идеи, которыми они руководствовались при решении. Задачи Гюйгенса заинтересовали и он самостоятельно занялся размышлениями над подобными же вопросами. Поскольку, как он позднее писал в трактате ’’О расчетах в азартных играх”, ни Паскаль, ни Ферма не опубликовали разработанных ими методов, ему пришлось самому искать пути решения. Результатом явилась работа Гюйгенса, опубликованная в 1656 г. в виде дополнения к книге его учителя Ф. ван Схоутена ’’Математические этюды". Схоутен настолько высоко оценил эту работу Гюйгенса, что сам перевел ее на латинский язык.
Работа Гюйгенса состоит из небольшого введения и 14 предложений. Эти предложения весьма различны по своему содержанию. Первые три являются теми принципами, на основе которых Гюйгенс основывал последующие решения. Предложения 4-9 посвящены решению задач, связанных с безобидным делением ставки. Предложения 10 - 14 содержат различные задачи, связанные с бросанием костей. В конце мемуара помещены 5 задач без решений, которые Гюйгенс предложил читателям для самостоятельных размышлений. Их решения были им даны лишь в 1665 г.
Несомненно, что первые три предложения составляют идейную основу всего сочинения Гюйгенса и поэтому приведем их полностью.
Предложение I. Если я имею равные шансы получить а или Ь, то это мне стоит (а + 6) /2.
Предложение 2. Если я имею равные шансы на получение а, 6, или с, то это мне стоит столько же, как если бы я имел (а + b + с)/3.
Предложение 3. Если число случаев, в которых получается сумма а, равно р, а число случаев, в которых получается сумма 6, равно q, то стоимость моего ожидания равна (ср + bq) Цр + q).
Для нас ясно, что этими предложениями Гюйгенс ввел понятие математического ожидания для случайной величины, принимающей два или три значения. Если использовать современные представления,. то в первых двух предложениях значения, принимаемые случайными величинами, равновероятны, а в третьем предложении вероятность значения а равна pj {р + q) и вероятность значения b равна q] (р + qV У Гюйгенса еще понятие вероятности не выделено, и он все время оперирует с числами шансов, благоприятствующих тому или другому событию. Гюйгенс предпочел, так сказать, коммерческую терминологию и говорил о стоимости, за которую он готов уступить свое право на получение выигрыша. Термин ’’ожидание" был введен в употребление учителем Гюйгенса - Схоутеном - при переводе.
Предложения 1 и 2 представляют собой ничто иное как версию задачи о разделе ставки. Мы приведем текст Гюйгенса с тем, чтобы читатели убедились насколько близки его рассуждения к рассуждениям Паскаля.
"Предположим, что я играю против другого лица на то, кто первым выиграет 3 партии, и что я уже выиграл 2 партии, а он - 1. Я хочу знать какая часть ставки причитается мне, когда мы хотим прервать игру и справедливо разделить ставки . . . Нужно заметить сначала, что достаточно принять во внимание число партий недостающих той и другой стороне. Так как верно, что если бы мы играли на то, кто выиграет 20 партий, и если бы я выиграл 19 партий, а мой противник 18, то я имел бы такое же самое преимущество, как и в изложенном случае, где при трех партиях я выиграл
две, а он только одну, а это потому, что в обоих случаях мне недостает только одной партии, а ему двух). Затем, чтобы вычислить часть причитающуюся каждому из нас, нужно обратить внимание на то. что произошло бы, если бы мы продолжали игру. Верно и то, что выиграв партию, я получил бы полностью сумму ставки, которую обозначу а. Но если первую партию выиграет мой противник, то наши шансы станут равными, принимаю во внимание, что каждому из нас будет недоставать по одной партии; значит, каждый из нас имел бы право над/2, что согласно первому предложению, эквивалентно сумме половин, те. (3/4)а, так что моему сопернику остается (1/4)а”.
Разделение ставки между тремя игроками Гюйгенс рассмотрел в предложении VIII, когда первому игроку недостает до выигрыша всей игры одной партии, а второму и третьему - по две партии. В предложении IX он рассмотрел вопрос о разделе ставки между тремя игроками, но при произвольном состоянии игроков. Общего выражения для решения этой задачи им дано не было и он изложил только принципы сведения общей задачи к частным случаям.
Формулировки предложений 10 - 14 следует признать недостаточно четкими. Их содержание полностью проясняется лишь при рассмотрении предложенных Гюйгенсом вопросов. Приведем некоторые из них.
Предложение 10. Определить при скольких бросаниях можно обязаться выбросить одной костью шесть очков?
Конечно, задача сформулирована весьма неопределенно. Нам ясно, что автору нужно понятие вероятности для точной формулировки его вопроса, а этого понятия еще нет. Речь же идет о вероятности того, что при и бросаниях (и = 1.2,...) хотя бы раз появится на кости шестерка.
Решение Гюйгенса состоит в следующем: При бросании имеется один шанс выкинуть 6 очков и 5 шансов получить другие грани. Если разыгрывается сумма а, то шанс получить эту сумму, согласно предложению 3, будет стоить (1 ■ а + 5 ■ 0)/6 =а/6.
’’Тому, кто предложил ему бросить кости, остается 5а/6. Значит, тот, кто играет партию в одно бросание, может ставить только 1 против 5.”
5656При двух бросаниях кости вычисления стоимости игры Гюйгенс проводит следующим путем. ’’Если 6 очков получается при первом бросании, то бросающий получает а, но на это у него имеется 1 шанс, и имеется 5 шансов, что это не произойдет. Но тогда имеется еще второе бросание, которое стоит ему, согласно предшествующему вы-
5
6
5
6
числению я/6. Отсюда следует, что игра должна стоить играющему1
= 11с/36. Аналогичным путем Гюйгенс получает для грекратного бросания кости стоимость игры, состоящей в том, что хотя бы раз выпадет грань с числом очков 6, равную 91а/216. Далее он вычислил стоимость подобной игры при четырехкратном, пяти и шестикратном бросании кости. Результаты полечились такими: 671Д/1296, 4651Д/7776, 31031а/46656.
В предложении И Гюйгенс рассматривает такую задачу: ’’Иай1и во сколько бросаний можно обязаться выбросить две шестерки?" Для нас эта формулировка неопределенна. Она должна быть сформулирована так: если при бросании двух костей игрок
выигрывает сумму а. то какую ставку он должен внести для участия в игре (при безобидной игре) ? Легко подсчитать, что цена игры при одном бросании должна стоить а/36, при двух бросаниях 71д/1296 и так далее. Далее Гюйгенс сделал такое замечание: "Я нахожу, что тот, кто играет при 24 бросаниях, имеет еше легкую невыгоду и что можно принимать с выгодою партию, играя только минимально при 25 бросаниях.”
Мы приведем теперь формулировки остальных трех предложений работы Гюйгенса.
Предложение 12. Найти такое число костей, при котором можно обязательно выбросить две шестерки при первом бросании?
Предложение 13. Найти причитающуюся каждому из нас часть обшей суммы при предположении, что я бросил две кости один раз с тем условием, что если выпадет 7 очков, то выигрываю я. и что выигрывает мой противник, если выпадает 10 очков. А если выпадает другое число очков, то мы делим общую сумму поровну.
Предложение 14. Другой игрок и я поочередно бросаем две кости при условии, что я выигрываю, как только я выброшу 7 очков, и он выигрывает, как только выбросит 6 очков, и я предоставляю ему бросить первому. Требуется найти отношение моих шансов и его.”
Интересно отметить, что в письма к Каркави от 6 июля 1656 г. Гюйгенс писал, что предложение 14 его трактата соответствует одной из шести задач Ферма, которые последний сообщил Каркави.
Для полноты картины мы сформулируем все пять задач, предложенных Гюйгенсом читателям для самостоятельного решения. Их решение он опубликовал лишь в 1665 г.
А и В играют двумя костями на следующих условиях: А выигрывает, если он выбросит 6 очков, В выигрывает, если выбросит 7 очков. Первым бросает А один раз, затем В бросает дважды, затем А бросает два раза и т.д., пока кто-нибудь не выиграет. В каком отношении шансы А относятся к шансам В? Ответ: как 10355 к 12276.
Трое игроков берут 12 фишек, из которых 4 белых и 8 черных, и играю! на таких условиях: первый вытянувший белую фишку побеждает. А тянет первым, В - вторым, а затем С, потом опять А и т.д. В каком отношении находятся шансы одного против других?
А держит пари против В, что из 40 карт (ио J) одинаковой мчс и) он выберет такие, что каждая будет различной масти.
Здесь величина шансов А против В определят i :я как 1060 к 8139
Имеем, как во второй задаче. 12 фишек, из которых 4 белых и 8 лепных; А держит пари против В. что в выборе 7 фишек вслепую он будет иметь 3 белых. (Опрашивается, в каком отношении стоят шансы А против В? Если Гюйгенс имел в виду. 1 ю будут вынуты точно 3 белых фишки, то результат 35 : 64; если же по меньшей мере 3. то 42 : 57.
А и В, каждый имеющий по 12 монет, играют тремя костями на условиях: если А выбросит 11 очков, то он должен дать В одну монету, но если он выбросит 14, тогда В должен дать одну монету А. Тот игрок выигрывает, который первым получит все монеты. Здесь шансы А относятся к шансам В как 244 140 625 к 282 429 536 481.
Последняя задача является ничем иным как разновидностью задачи о разорении игрока.
Спустя десять лет после кончины известного философа Б. Спинозы (1632-1677), в Гааге была опубликована анонимная работа, состоящая из двух частей, далеких друг от друга по содержанию. "Исследование о радуге” и "Заметки о математической вероятности”. Проведенные исследования подтверждают предположение о том, что эти сочинения были написаны Спинозой. Во второй части работы содержалось решение первой задачи Гюйгенса и были приведены формулировки остальных четырех. Нас должно заинтересовать то обстоятельство, что в названии работы уже говорится о
математической вероятности, но хотя в самой работе вероятность не определяется и рассуждения ведутся над числом благоприятствующих событию случаев.
Для дальнейшего нам полезно сделать следующее замечание. В 1692 г. Д. Арбутнот (1667-1735) предпринял издание английского перевода книги Гюйгенса и к этому переводу он добавил ряд новых задач, в том числе задачу иной природы. Формулировка этой задачи такова: на плоскость наудачу бросается прямоугольный параллелепипед с ребрами, находящимися в отношении а : Ь : с. Найти отношение шансов выпадения параллелепипеда гранями ab, Ьс и са.
К концу XVII века завершался длительный период накопления первичных сведений о случайных событиях; точно поставленных задач и подходов к их решению. Многие выдающиеся умы занимались этими вопросами и с разных позиций подходили к количественной оценке возможности наступления случайного события. Ферма фактически пользовался понятием математического ожидания, использование которого для решения разнообразных задач было широко развито Гюйгенсом; Паскаль, Ферма и Гюйгенс использовали представления о теоремах сложения и умножения вероятностей и подошли вплотную к понятию вероятности, однако его они не ввели. Казалось бы, что этот шаг - переход от рассмотрения числа возможных исходов, благоприятствующих наступлению события, к рассмотрению отношения этого числа к числу всех возможных исходов - был естественен. Однако никто этого шага не сделал. Рассуждения, благодаря этому, были сложны и формулировки задач не очень точны. И если бы исследователи того времени задали себе вопрос, что возможнее при четырехкратном бросании кости хотя бы раз выбросить шестерку или при двадцатипятикратном бросании двух костей хотя бы раз выбросить на обеих костях шестерки? - они были бы вынуждены ввести классическое понятие вероятности и далее его использовать. Однако этого в XVII веке не произошло и введение в науку классического понятия вероятностей принадлежит лишь ХХППстолетию. Однако оно было исследованиями XVII века хорошо подготовлено. Период предыстории завершался и начинался период собственно истории теории вероятностей. Для этого уже был создан достаточно прочный фундамент.
О первых исследованиях по демографии
В следующей главе мы узнаем, что одним из толчков для развития основных понятий теории вероятностей сыграли исследования Джона Граунта (1620-1675) и Вильяма Петти (1623-1687) по демографии или, как тогда говорили, по политической арифметике. Их работы наглядно продемонстрировали каким мощным орудием могут служить для изучения массовых явлений статистические наблюдения, если их соответствующим образом обработать. Их книги получили большое распространение, старательно изучались учеными самых разнообразных направлений деятельности, в том числе и математиками.
Первой работой, с которой начинается история статистики как области научного знания, следует назвать книгу Д. Граунта, опубликованную в 1662 г. под названием ’’Естественные и политические наблюдения, перечисленные в прилагаемом оглавлении и сделанные над бюллетенями смертности. По отношению к управлению, религии, торговле, росту, воздуху, болезням и разным изменениям означенного города”. Нам нет нужды давать описание всего содержания этой книги, но оттенить отдельные моменты, необходимые для дальнейшего, следует.
Основная задача, которая заинтересовала Граунта, состояла в указании метода, который позволял бы установить с достаточной точностью возрастной состав населения города в результате наблюдений за возрастом умерших. С этой целью им были проанализированы результаты 229250 регистраций смертей в Лондоне происшедших за 20 лет. Среди этих смертей было отмечено 71124 смерти детей от 0 до 6 лет. Причи-
ны смерти были тщательно перечислены Граунтом. Он специально отметил, что отношение числа смертей детей от 0 до 6 лет к общему числу смертей за тот же период времени, равное 71124/229250, приблизительно равняется 1/3. Иными словами Граунт ввел представление о частоте события. Для развития теории вероятностей это обстоятельство сыграло огромную роль, как, впрочем, и его замечание: ”. . . мы хотели бы отметить, что некоторые из случайностей имеют постоянное отношение к числу всех похорон” (цитированная книга, с. 32). Здесь Граунт вплотную подошел к представлению о статистической устойчивости средних.
Он установил, что для Лондона число рождений мальчиков к числу рождений девочек относится как 14: 13, что в среднем на каждые 11 семейств ежегодно умирают 3 их члена, что одна из 2000 женщин умирает от родов, что в среднем на каждые 63 покойника приходится 52 новорожденных. Тем самым численность населения Лондона пополняется систематически за счет провинции. Он установил на основании таблиц смертности, что в Лондоне на каждые 100 мужчин 34 имеют возраст от 16 до 56 лет. Так что по его данным в ту пору из 199112 жителей мужского пола 67694 имели возраст от 16 до 56 лет.
Им была составлена первая таблица смертности, которую мы теперь приведем: из каждых 100 новорожденных доживает до
6 лет
64
36 лет
16
66 лет
3
16 лет
40
46 лет
10
76 лет
1
26 лет
25
56 лет
6
86 лет
0.
В этой таблице поражает огромная детская и юношеская смертность: только 64 % в ту пору доживали до 6 лет и только 40 % - до 16 лет.
Граунт прекрасно понимал, что точность его выводов тем больше, чем больше наблюдений имеется для обработки. Именно в связи с этим он отметил, что недостаточно ограничиваться обработкой бюллетеней смертности только за одну неделю для получения полноценных выводов о составе населения.
Понятие частоты оказалось полезным и его сразу подхватили другие авторы. Так в небольшой книге В. Петти ’’Два очерка по политической арифметике, относящиеся к людям, зданиям, больницам в Лондоне, Париже”, вышедшей в 1682 г. в Лондоне, а через два года во французском переводе - в Париже, были даны сравнительные данные о смертности в госпиталях шарите * Парижа и Лондона. Так в одном из госпиталей шарите Парижа в течение года из 2647 больных скончались 338, а в двух госпиталях Лондона из 3281 больных ушли из жизни 461. Частоты госпитальной смертности для Парижа и Лондона оказываются соответственно равными 0,136 и 0,140. Петти не использовал десятичных дробей и обе частоты считал приблизительно равными 1/7. Гще больший процент смертности оказался в парижском госпитале ’’Божий дом” (L’hotel dien), а именно в нем из 21591 больных скончалось 5360.Таким образом для этого госпиталя частота окончательного исцеления от всех болезней и печалей оказалась равной 5360/21491 « 0.262. Петти принимал ее за 1/4.
В этой же книге Пегги установил, что в Лондоне в среднем умирает один житель из 30, а в сельской местности - один из 37. Среди же членов парламента одна смерть приходится на 50 человек. Он также утверждал, что о численности населения города можно судить по бюллетеням смертности. Так, для примера, в Лондоне было зарегистрировано 22331 смертей. Значит, поскольку коэффициент смертности для Лондона равен 1/30, число жителей в этом городе должно быть близко к 669 930.
Несомненно, что работы Граунта, Петти и ряда их последователей представляют собой ничто иное как первые шаги в области математической статистики.
Непосредственным продолжателем исследований, начатых Граунтом и Петти, был знаменитый английский астроном Эдмунт Галлей (1656-1742). В 1693 г. Галлей опубликовал в изданиях Лондонского королевского общества две статьи ’’Оценка степеней смертности человечества, выведенная на основании любопытных таблиц рождений и погребений города Бреславля. с попыткой установить цену пожизненных рент’’ и "Несколько дальнейших замечаний по поводу Бреславльских бюллетеней смертности". В основу этих статей были положены данные о движении населения Бреславля за 1687-1691 тт., присланные по просьбе секретаря общества Генриха Жюс- телля пастором Каспаром Нейманом. Более Галлей к этим вопросам не возвращался.
Одна из причин интереса Галлея к таблицам смертности состоит в том. что сами Граунт и Петти сознавали недостаточную обоснованность своих выводов, поскольку у них отсутствовали численность населения и возраст умерших (зачастую). Кроме того, в городах, которые они изучали - Лондон и Дублин - был большой приток населения извне. Это обстоятельство делает указанные города "неподходящими в качестве стандарта для этой цели, которая требует, если это возможно, чтобы население, с которым имеют дело, было совершенно закрытым, т.е. таким, где все умирают там, где они родились, где нет никаких эмигрантов и иммигрантов" (Галлей, первый мемуар). По словам Галлея, бреславльские материалы не имеют указанных дефектов.
На основании имевшихся у него данных Галлей составил таблицу смертности, которую он рассматривал одновременно и как таблицу доживающих по возрасту лиц, так и как распределение населения по возрасту. Он ввел в науку понятие о вероятной продолжительности жизни, как о возрасте, которого одинаково можно достигнуть и не достигнуть. На современном языке это медиана длительности жизни. Сам ['аллей не вводил ни термина медиана, ни термина вероятная продолжительность жизни. В вычислениях Галлея можно заметить использование им принципов, лежащих в основе теорем сложения и умножения вероятностей, а также рассуждения, близкие к формулировке закона больших чисел.
Работы Галлея имели очень большое значение для развития науки и применений статистических исследований о народонаселении к вопросам страхования.
ГЛАВА 2
ПЕРИОД ФОРМИРОВАНИЯ ОСНОВ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Возникновение классического определения вероятности
Образование основных математических понятий представляет важные этапы в процессе математического развития. Мы видели, что до конца XVII века наука так и не подошла к введению классического определения вероятности, а продолжала оперировать только с числом шансов, благоприятствующих тому или иному интересующему исследователей событию. Отдельные попытки, которые нами были отмечены у Кардано и у позднейших исследователей, не привели к ясному пониманию значения этого нововведения и остались инородным телом в завершенных работах. Однако, в тридцатых годах XVIII столетия классическое понятие вероятности стало общеупотребительным и никто из ученых этих лет не мог бы ограничиться только подсчетом числа благоприятствующих событию шансов. Кто же ввел это понятие и настолько ясно показал его необходимость, чтобы в дальнейшем уже не возникло сомнения в его целесообразности для развитая науки? Мы должны заметить, что введение классического определения вероятности произошло не в результате однократного действия, а заняло дли-
тельный промежуток времени, на протяжении которого происходило непрерывное совершенствование формулировки, переход от частных задач к общему случаю.
Внимательное изучение, показывает, что еще в книге X. Гюйгенса ”О расчетах в азартных играх" (1657) нет понятия вероятности как числа, заключенного между 0 и 1 и равного отношению числа благоприятствующих событию шансов к числу всех возможных. А в трактате Я. Бернулли "Искусство предположений"*) (1713) понятие это введено, хотя и в далеко несовершенной форме, но, что особенно важно, широко используется. Что же произошло за те полстолетия, которое прошло между публикациями этих книг? Что заставило Я. Бернулли ввести в научный обиход классическое понятие вероятности?
Несомненно, что формулировка закона больших чисел, осуществленная Я. Бернулли, сама по себе является достаточным для этого основанием. Однако имеется и другое соображение, которое, несомненно, оказало сильное влияние на ход мыслей ряда исследователей, в том числе и Я. Бернулли. Речь идет о работах Граунта и Петти, о которых было сказано в предыдущем параграфе. Эти произведения решающим образом воздействовали на лучшие умы того времени и не было ни одного мало-мальски крупного математика, который не изучал бы их и не находился под их воздействием. Этого влияния не избежал и Я. Бернулли. Произведения Граунта и Петти убедительно показали преимущества понятия частоты перед понятием численности. Именно понятие частоты, т.е. отношение числа наблюдений, в которых появляется определенное свойство, к числу всех наблюдений, позволяет получить серьезные практические выводы. тогда как рассмотрение численностей оставляет исследователя в состоянии неопределенности. Отсюда оставался лишь один шаг до введения понятия классической вероятности. Заметим, что выводы Граунта и Петти относительно устойчивости частоты некоторых событий подготовили почву и к формулировке закона больших чисел.
В весьма несовершенной форме классическое определение вероятности у Я. Бернулли появилось в первой главе четвертой части "Искусства предположений". Там он сказал следующие слова: "Вероятность есть степень достоверности и отличается от нее, как часть от целого”. Далее было пояснение сказанного на примере, который отчетливо показывает, что Я. Бернулли в данную им формулировку фактически вкладывал тот же самый смысл, какой мы вкладываем в классическое определение вероятности. Вот эго пояснение: "Именно: если полная и безусловная достоверность, обозначаемая нами буквой а или единицей I, будет, для примера, предположена состоящей из пяти вероятностей, как бы частей, из которых три благоприятствуют существованию или осуществлению какого-либо события, остальные же неблагоприятствуют, . ,,33„
то будет сказано, что это событие имеет — а или — достоверности .
При формулировке главного предложения в пятой главе четвертой части Я. Бернулли вновь писал об отношении числа благоприятствующих случаев к числу всех возможных. Но при этом он не оговаривал, а предполагал само собой разумеющимся, что эти случаи должны быть равновероятными. Наряду с этим отношением, которое вошло в науку, Бернулли предлагал и другое - число благоприятствующих к числу неблагоприятствующих. В науке привилось только первое из этих отношений, второе же не привилось, быть может по той причине, что оно изменяется от 0 до бесконечности, а может быть по причине неаддитивности этих отношений.
Интересны рассуждения четвертой главы четвертой части сочинения Я. Бернулли. Он задал вопрос: как определить вероятность случайного события, если у нас нет
О Часть четвертая этой книги переведена на русский язык и с содержательными комментариями издана недавно: Я. Бернулли. ”0 законе больших чисел", изд. Наука, 1986, редактор Ю.В. Прохоров.
возможности подсчитать числа всех возможных и благоприятствующих ему шансов? Ответ им был сформулирован следующим образом: "Но здесь нам открывается другая дорога для достижения искомого. И то, что не дано вывести a priori, то. по крайней мере, можно получить a posteriori, т.е. из многократного наблюдения результатов в подобных примерах. . . Ибо, если, например, при наблюдениях, сделанных некогда над тремя сотнями людей того же возраста и сложения, в каких находится теперь Тит, было замечено, что из них двести до истечения десяти лет умерли, а остальные остались в живых и дальше, то можно заключить с достаточным основанием, что имеется вдвое больше случаев Титу умереть в течение ближайшего десятилетия, чем остаться в живых по истечении этого срока . . . Этот опытный способ определения числа случаев по наблюдениям не нов и не необычен.”
Нам важно теперь подчеркнуть, что в высказанных отрывках достаточно четко прослеживается мысль о статистическом определении вероятности. Наверняка при этом Я. Бернулли основывался и на работах Граунта и Петти.
Таким образом в трактате Я. Бернулли присутствуют обе концепции вероятности - классическая и статистическая. Обе они изложены не очень четко, но существенно то. что они уже введены в рассмотрение и использованы. Этим был сделан принципиальный шаг в науке о случае - введено в рассмотрение понятие вероятности случайного события как числа, заключенного между 0 и 1. Достоверному событию при этом приписывается максимально возможное значение вероятности единица, а невозможному - минимальное - ноль. Кроме того было ясно сказано, что это число может быть определено двумя различными способами: путем подсчета числа равновозможных случаев, которые благоприятствуют событию, и всех возможных случаев и вычисления их отношения или же путем проведения большого числа независимых испытаний и вычисления частоты события. Можно считать, что теория вероятностей с этого момента начала свою историю. До этого же была предыстория, которая подготовляла почву для формирования основных понятий и задач теории вероятностей.
Я. Бернулли обдумывал свое "Искусство предположений” долгие годы, по его словам, по меньшей мере двадцать лет. Но свет оно увидело лишь в 1713 г., восемь лет спустя после смерти автора.-Однако содержание этого произведения многие годы до его публикации уже было известно научной общественности по рукописи, которая стала доступна многим. Об этом говорится, в частности, в публикациях Фонтенеля и Сорена, посвященных заслугам покойного и вышедшим в свет соответственно в 1705 и 1706 годах. На эти публикации позднее ссылался П. Монмор (1687- 1719) в своей книге ’’Обзор анализа азартных игр” (1-е изд. - 1706 г.; 2-е изд. - 1713 г.)-, а также сделал подробный анализ содержания "Искусства предположений”. Таким образом трактат Я. Бернулли оказывал влияние на развитие теории вероятностей задолго до его опубликования. Об этом позднее мы скажем еще по другому поводу.
Монмор в упомянутой книге использовал понятие вероятности и применил его к решению достаточно сложных задач. В частности, Монмор рассмотрел и правильно решил следующую задачу: имеется п предметов, пронумерованных числами от 1 до п. Спрашивается, чему равна вероятность того, что при последовательном вынимании этих предметов наудачу (без возвращения) хотя бы один предмет будет вынут так, что номер вынимания совпадет с присвоенным ему номером. Эта вероятность оказалась равной 1-1/21+1/3!-...+ (1) п1/и'- Мы знаем, что этой задаче теперь придаются различные формулировки.
А. Муавр воспринял классическое определение вероятности, данное Бернулли, и вероятность события определил почти в точности так, как это делаем мы теперь. Он писал: ’’Следовательно мы строим дробь, числитель которой будет число случаев появления события, а знаменатель - число всех случаев, при которых оно может появиться или не появиться, такая дробь будет выражать действительную вероятность его появления." После этого определения Муавр привел в точности пример, о
котором мы упоминали при рассказе о вкладе Бернулли, а именно: "если какое-то событие имеет 3 благоприятствующих шанса, 2 неблагоприятствующих, дробное выражение 3/5 будет точно говорить о вероятности его появления и может рассматриваться как ее мера" ("Доктрина шансов"). Обратим внимание на то, что Муавр, как и Я. Бернулли, не оттенял то обстоятельство, что шансы должны быть равновероятными. Это замечание впервые было введено в определение классической вероятности лишь П. Лапласом в его "Аналитической теории вероятностей". Лагранж об этом еще не задумывался и давал определение вероятности в точности по Муавру. По-ви- димому, на Лапласа повлияла дискуссия, начатая Д’Аламбером, который при решении задачи о вероятности выпадения (при бросании двух монет) герба на одной из монет и решки - на другой, определил ее равной 1/3. Это он мотивировал тем, что имеются лишь три возможности: 1)на обоих монетах выпадает герб; 2) на обоих монетах выпадает решка; 3) на одной монете выпадает герб, а на другой - решка.
О формировании понятия геометрической вероятности
Уже в первой половине XVIII века выяснилось, что классическое понятие вероятности имеет ограниченную область применений и возникают ситуации, когда оно не действует, а потому необходимо какое-то естественное его расширение. Обычно считают, что таким толчком послужили работы французского естествоиспытателя Ж. Бюффона (1707 -1788). в которых он сформулировал знаменитую задачу о бросании иглы на разграфленную плоскость и предложил ее решение. Это утверждение требует поправки, поскольку исторически оно неверно. Дело в том. что задолго до рождения Бюффона появилась работа, в которой фактически уже был поставлен ■ вопрос о нахождении геометрической вероятности. Правда, в ту пору еще не было и определения вероятности.
В 1692 г. в Лондоне был опубликован английский перевод книги X. Гюйгенса "О расчетах в азартных играх", выполненный Д. Арбутнотом (1667-1735). В конце первой части переводчик добавил несколько задач, среди которых была сформулирована задача совсем иной природы, по сравнению с теми, которые были рассмотрены великим автором. Он назвал эту задачу трудной и поместил ее в дополнении "для того, чтобы она была решена геми, кто считает такого рода проблемы достойными внимания". Задача, предложенная Арбутнотом, состоит в следующем: на плоскость наудачу бросается прямоугольный параллелепипед с ребрами, равными а, Ь, с. Спрашивается. как часто параллелепипед будет выпадать гранью ай?
Сам Арбутнот не сделал даже попытки решения придуманной им задачи. Это было осуществлено значительно позднее Т. Симпсоном (1710-1761) в книге "Природа и законы случая" (1740), где задача была приведена под номером XXVII.
Идея решения, предложенная Симпсоном, состоит в следующем: опишем около параллелепипеда сферу и спроектируем из центра на поверхность се все ребра, боковые грани и основания. В результате поверхность сферы разобьется на шесть непере- секаюшихся областей, соответствующих граням параллелепипеда. Далее Симпсон написал: "Нетрудно заметить, что определенная часть сферической поверхности, ограниченная траекторией, описанной таким образом радиусом, будет находиться в таком Же соотношении к общей площади поверхности, как вероятность появления некоторой грани к единице".
В том, что было только что сказано, в полной мере заключены принципы разыскания геометрических вероятностей: вводится мера множества благоприятствующих событию случаев и берется ее отношение к мере множества всех возможных случаев. В нашем случае полная мера сводится к площади поверхности шара. Заметим, что Симпсон ни слова не сказал о физической ин терпретации решения. Ведь для того, чтобы параллелепипед упал на плоскость определенной гранью, необходимо, чтобы его
центр тяжести находился над ее проекцией на плоскость падения. Однако в решении Симпсона это требование соблюдено.
Введем для дальнейшего обозначения: R2 = а2 + Ь2 + с2, Раь. Pbc- ?са - вероятности выпадения на какую-то определенную грань соответственно ab, Ьс, са. Вероятности выпадения на какую-то из граней ab (соответственно Ьс и са) должны быть увеличены вдвое. Формулы, о которых идет речь, должны быть таковы:
„1 ab„1be„1ас
РаЬ =— arctg — ,РЬс =— arctg —— ,Рса =-arctg —.
я скяaRяbR
Бюффон дважды публиковал работы, посвященные геометрическим вероятностям. Первая его публикация на эту тему относится к 1733 г., когда он сделал в Парижской академии наук.доклад, напечатанный под называнием ’’Мемуар об игре франк-карро” (Мемуар об игре прямо в клетку) . Позднее, в 1 777 г. этот мемуар был целиком включен в ’"Опыт нравственной арифметики”, являвшейся дополнением к тому IV его ’’Естественной истории”.
Цель, которую ставил перед собой Бюффон. состояла в том. чтобы показать, что ’’геометрия может быть использована в качестве аналитического инструмента в области теории вероятностей”, в то время как до тех пор "геометрия казалось мало пригодной для этих целей”, поскольку для них использовалась только арифметика.
Игра франк-карро состоит в следующем: пол разграфлен на одинаковые фитуры. На пол бросается монета, ее диаметр 2г меньше каждой из сторон и монета целиком укладывается внутрь фигуры. Чему равна вероятность того, что брошенная научачу монета пересечет одну или две стороны фитуры?
Для определенности рассмотрим покрытие плоскости прямоугольниками со сторонами а и b, b > 2г. а > 2г. Легко подсчитать, что площадь полосы между основным прямоугольником со сторонами, параллельными сторонам основного на расстоянии г от каждой из его сторон и целиком расположенного внутри основного, равна 2г (а + b - 2г ). Легко понять, что центр монеты, попав внутрь малого прямоу тельника. не только не пересечет, но даже не коснется сторон основного. Значит, вероятность того, что монета пересечет по меныпей мере одне из сторон основного прямостольни- а + b - 2г'
ка равна 2г .
ab
Вторая задача, сформулированная и решенная Бюффоном. состоит в следующем: плоскость разграфлена равноотстоящими параллельными прямыми. На плоскость наудачу бросается и1-;ш. Один шрок утверждает, что игла пересечет одну из параллельных прямых, другой что не пересечет. Определить вероятность выигрыша каждого из игроков. Решение этой задачи хорошо итвесгно, и нет необходимости приводить его здесь. Менее известна задача Бюффона об игре, когда шла бросается на плоскость, разграфленную па квадраты. В решении .той задачи Бюффон допустил ошибку, позднее исправленную Лапласом. Именно. Бюффон считал, что искомая ве- а - г2а - г
роятность равна 2г—. тогда как в дейепти тельнести она равы: 4г- . папа"
После Бюффона задачи на геометрические вероятности стали систематически включаться в трактаты и учебники по теории вероятностей. Гак. в птаменитую киш у Лапласа "Аналитическая теория вероятностей" были включены и подробно рассмотрены все задачи Бюффона. Но Лаплас не счел нужным отметить, откуда они были заимствованы и кто автор этих задач.
Следует отметить. что терминология Лапласа далека от совершенства. Гак, для примера, он писал, что "8г равняется сумме всех случаев, в которых игла пересекает одну или другую.параллельные линии” и что 2ап равно "числу всех возможных комби-
наций”. Здесь 2г означает длину иглы, а а - расстояние между параллельными прямыми.
Во второй задаче, рассмотренной Лапласом, плоскость разграфлена двумя системами параллельных прямых, представляющих ничто иное как систему координатных линий на плоскости. Расстояние между линиями первой системы равно а, второй системы - Ь. На плоскость бросается игла длины 2г (2г < а, 2г < 6). Чему равна вероятность того, что игла пересечет хотя бы одну линию? Решение, предложенное Лапласом, предполагает, что дело идет о . нс гемах взаимно перпендикулярных прямых. Это Лапласом не оговорено. В резг лыате вычисления — числа благоприятствующих и '’числа всех возможных случаев" - Лаплас определил, что вероятность а + b - г ' пересечения одной из линий орошенной иглой равна 4г.
пап
В прекрасном для своего времени учебнике ’’Основания математической теории вероятностей’' (1846) В.Я. Буняковского (1804-1889) имеется довольно большой раздел, посвященный геометрической вероятности. В него включена задача Бюффона о бросании иглы и частный сл> чай игры франк-карро, когда плоскость разбита на равнобедренные треугольники. С современных позиций терминология Буняковского далека от' совершенства. Пример такого словоупотребления мы сейчас и приведем: ”. . . иногда встречаются такие ситуации", в которых число благоприятствующих ста- точностей, а равно и всех возможных бывает бесконечное. Искомая вероятность определится тогда отношением этих двух бесконечных чисел ... ”. Она будет ’’числом конечным и совершенно определенным”.
Серьезный шаг в развитии геометрических вероятностей связан с именами Ламе (1795 -1870), Барбье. Д. Сильвестра (1814-1897), М. Крофтона, которые не только поставили новые задачи, но и привлекли к их решению понятие меры множества (пусть еще и на интуитивном уровне). На базе их рассмотрений позднее возникла новая ветвь геометрии, получившая наименование интегральной геометрии.
В 1860 г Ламе на факультете наук Парижской нормальной школы прочитал курс лекций по геометрии. В этом курсе он рассмотрел задачу Бюффона о бросании иглы и применил се к том) случаю, когда центр иглы бросается наудачу в центр эллипса или правильного многоугольника. Среди слушателей был Барбье, обобщивший рассуждения Ламе на случай любого выпуклого контура. В сущности Барбье не внес ничего нового в сам метод. Он только заметил, что рассуждения Ламе не связаны жестко ни с рассмотрением эллипса, ни с правильными многоугольниками, а легко обобщаются на любой выпуклый контур.
Сильвестр первым после Бюффона расширил тематику задач на геометрические вероятности. Им была предложена задача о четырех точках или задача Сильвестра. Ее формулировка такова: четыре точки взяты наудачу внутри выпуклой области. Чему равна вероятность того, что, взяв эти точки в качестве вершин, можно составить выпуклый четырехугольник?
Сильвестр предложил следующее решение: обозначим через А площадь выпуклой области. Бросим в нашу область сначала три точки и построим по этим точкам треугольник. Пусть его средняя площадь равна М. Бросим теперь наудачу четвертую точку. Если она попадет внутрь треугольника, то по этим четырем точкам выпуклого четырехугольника составить нельзя. Но четвертую точку мы можем выбирать четырьмя различными способами, следовательно, при бросании четырех точек вероятность получить невыпуклый четырехугольник равна р = ^M]A. Отсюда заключаем, что вероятность получения при этом выпуклого четырехугольника равна 1 — ^M|A. Среднее значение М зависит от области, в которую бросают точки. Для некоторых выпуклых фигур значение М вычислено. М. Крофтон в статье "Вероятность”, опубликованной в Британской экциклопедии (9-е издание, т. 19, стр. 786. Эдинбург, 1885).
привел таблицу, сославшись на работу Вольхауза, из которой легко получить значения М для соответствующих выпуклых областей.
Таблица 22
вероятность
треугольник
параллелограмм
правильный 6-угольник
окружность
р
1/3 = 0,3333...
11/36 = 0,3056
289/972 « » 0,2971
35/(12я2) = = 0,2955
Сильвестр отчетливо понимал, что при вычислении геометрических вероятностей приходится брать отношение площадей или объемов (общее мер) тех областей, которые благоприятствуют событию и в которых помещаются всевозможные события. Фактически так поступали и раньше. Но при этом произносили другие слова, которые или не имели определенного смысла или же не соответствовали производимым действиям. Сравнив результаты вычислений для различных областей, Сильвестр предложил найти те области, для которых вероятность получения выпуклого четырехугольника достигает максимума и минимума. Первые результаты принадлежат Крофтону и опубликованы в ранее указанной статье. Он доказал, что минимум достигается для круга. Там же он высказал предположение, что минимум достигается и для эллипса. Это предложение было доказано лишь В. Блашке (Vorlesungen uber differential Geometrie - Berlin, 1923). Дельтейль показал, что максимальная вероятность формирования выпуклого четырехугольника достигается для треугольной области.
В учебной литературе широко известна задача о встрече. Спрашивается, когда она появилась и кто был ее автором? При изучении многочисленной литературы моей ученице М.Т. Лориньо Перес удалось найти ответ на этот вопрос. В книге Уайтворта "Выбор и шанс” (Choice and chance - London, 1886, chap III, p. 242-243) была рассмотрена следующая задача. Лица А и В независимо один от другого отправляются на прием в парке. Лицо А прибывает на прием в наудачу выбранный момент между 3 и 5 часами пополудни, а В - между 4 и 7 часами пополудни. Каждый из них остается на приеме в течение часа. Чему равна вероятность того, что они окажутся на приеме одновременно хотя бы одно мгновение?
Задача была решена Уайтвортом обычным путем, какой используется и в настоящее время. Легко подсчитать, что искомая вероятность равна 1/3. Позднее эта задача перекочевывала из книги в книгу в качестве иллюстративного примера, а также находила применения в задачах организации производства.
Несомненно, что в XIX веке на развитие проблематики геометрических вероятностей особое влияние оказал Крофтон. Он начал изучать пересечение случайными прямыми заданных выпуклых контуров. Мы не станем излагать его результаты, поскольку они вошли в курсы интегральной геометрии и монографии по геометрическим вероятностям, а потому легко доступны.
На необходимость совершенствования понятия геометрической вероятности несомненное влияние оказала книга Ж. Бертрана (1822-1900) (Calcul de probabilite. - Paris, 1899), в которой на хорошо подобранных примерах было показано, что логически понятие геометрической вероятности не выдерживает критики. Играя на неопределенности терминологии, казалось бы для одной и той же задачи, ему удалось получить несколько различных ответов. В качестве основной мишени им была избрана известная задача о проведении наудачу хорды внутри круга. Само собой разумеется, что критика Бертрана привлекла внимание математиков к общим вопросам логического обоснования теории вероятностей.
В XX веке интерес к геометрическим вероятностям не ослабел, а вырос, поскольку, помимо чисто математического интереса, они приобрели и серьезное прикладное значение в физике, биологии, медицине, инженерном деле и др. Этот аспект геометрических вероятностей заслуживает специального рассмотрения.
Основные теоремы теории вероятностей
Мы обратимся теперь к следующему естественному вопросу: когда и кто выделил в теории вероятностей основные ее теоремы - сложения и умножения и полной вероятности? В конечном счете на этих простых результатах покоится вся теория вероятностей и ее многочисленные применения. Именно поэтому представляет интерес выяснение процесса их формирования. В книге Л.Е. Майстрова ’’Теория вероятностей”, исторический очерк, 1967 (с. 65) утверждается, что в XVII веке уже ’’были известны теоремы сложения и умножения вероятностей, которые широко применялись при решении задач”. Однако, нам не удалось заметить ни в переписке Ферма с Паскалем, ни в трактате Гюйгенса ни формулировки, этих теорем, ни мало-мальски осознанного их использования. Однако зачатки этих теорем можно проследить буквально с первых шагов теории вероятностей как математической науки.
Так в работах Паскаля можно усмотреть, что он отчетливо понимал как следует подсчитывать число благоприятствующих шансов для события А. если нам известны шансы для несовместимых событий Aj. составляющих событие/!. Это, конечно, еще не теорема сложения, но важный шаг на пути ее формулировки. При решении задачи о разделе ставки Паскаль рассуждал следующим образом: пусть игроку А для выигрыша игры недостает трех партий, а игроку В - четырех. Тогда для завершения игры достаточно шести партий. Игрок А выигрывает, если из этих шести партий он выиграет все шесть, пять или четыре, или три партии. Таким образом, число благоприятствующих шансов для выигрыша А игры оказывается равным
С‘ + с»5 + С? + С’ = 1 + 6 + 15 + 20 = 42.
Это рассуждение Паскаль предложил и в общем случае, когда для окончания игры игроку А недостает т партий, а игроку В - п партий.
В работах Я. Бернулли и Н. Бернулли дается отчетливая формулировка правила вычисления вероятности противоположного события, если известна вероятность прямого события.
При выводе формул, получивших наименование формул Бернулли, Я. Бернулли сознательно использовал правила сложения и умножения вероятностей, но самих правил он не сформулировал. Они в его рассуждениях присутствуют как бы неявно.
Одно замечание Я. Бернулли показывает, что он отчетливо понимал особенности теоремы сложения для совместимых событий. Вот это замечание: ’’Если два человека, достойные смертной казни, принуждаются бросить кости при условии, что тот, кто выбросит меньшее число очков, понесет свое наказание, а другой, который выбросит большее число очков, сохранит свою жизнь, и что оба они сохранят жизнь, если выбросят одинаковое число очков, то мы найдем для ожидания одного 7/12 ... Но из этого нельзя заключить, что ожидание другого равно 5/12 жизни, так как очевидно, что обе участи одинаковы. Другой также будет ожидать 7/12, что дает для обоих 7/6 жизни, т.е. больше целой жизни. Причиной этого является то. что нет ни одного случая, в котором хотя бы один не останется живым, а имеется несколько случаев, когда они оба могут остаться в живых.” Нет нужды добавлять к словам Я. Бернулли, что он находился рядом с предложением, которое мы теперь записываем в следующем виде:
р{л + в} = р{я} + р{в} - pUs}.
Впрочем, если с современных позиций рассматривать работу Кардано ’’Книга об игре в кости”, то в главе XIV "О соединении очков” можно в частном примере усмотреть этот же результат, но не для вероятностей, а для числа шансов. Он рассматривал число случаев выпадения при бросании двух костей хотя бы на одной кости одного очка. Это число равно 11, поскольку шестью различными способами может появиться 1 на первой кости: (1,1), (1,2), (1,3) (1,4), (1,5), (1,6) и столькими же на второй. Но случай (1, 1) при этом мы указываем дважды. Так что различных случаев будет не 12, а лишь 11.
Однако, как ни важны приведенные наблюдения, мы не должны приписывать ни Кардано, ни Паскалю и Ферма, ни Я. Бернулли формулировку теоремы сложения вероятностей, как важнейшего положения теории вероятностей.
Первая четкая и окончательная формулировка теоремы сложения вероятностей находится в работе Т. Байеса (1702-1761), носящей длинное название - ’’Опыт решения задач по теории вероятностей покойного достопочтенного мистера Байеса, члена Королевского общества. Сообщено мистером Прайсом в письме Джону Кентону, магистру искусств, члену королевского общества”. Работа Байеса была зачитана на заседании Лондонского королевского общества 27 декабря 1763 г., спустя два года после смерти автора. В определении 1 работы содержится определение несовместимых событий. Байес употребляет другой термин ’’неплотные события" (inconsistent).Согласно Байесу, "несколько событий являются неплотными, если наступление одного из них исключает наступление других”. Формулировка же теоремы сложения дается Байесом в предложении 1, которое состоит в следующем: "Если несколько событий являются неплотными, то вероятность того, что наступит какое-то из них, равно сумме вероятностей каждого из них”. В этом предложении мы видим четкую формулировку теоремы сложения вероятностей во вполне современной форме.
Точно так же теорема умножения вероятностей длительный период формировалась на рассмотрении частных примеров и на подсчете числа шансов, благоприятствующих наступлению произведения двух или нескольких событий. Такого рода подсчеты встречаются практически у всех предшественников Я. Бернулли. Я. Бернулли широко использует эти правила при выводе своих знаменитых формул. Широко использовал правила сложения и умножения вероятностей Монмор. Однако формулировки теоремы умножения ни у кого из них не встречается. Четкое выделение теоремы умножения было осуществлено лишь Муавром. Во введении к ’’доктрине шансов" в § 8 он определил важное понятие независимости случайных событий. А именно, он формулирует следующее положение: "Мы скажем, что два события независимы, когда каждое из них не имеет никакого отношения к другому, а появление одного из них не оказывает никакого влияния на появление другого." Еще более определенно им дано определение зависимых событий. А именно, "два события зависимы, когда они связаны друг с другом и когда вероятность появления одного из них изменяется при появлении другого”.
Эти определения Муавр снабдил простеньким примером. Пусть имеются две кучки карт одной масти, в каждой кучке от двойки до туза. Тогда вероятность того, что из каждой кучки наудачу удается вынуть по тузу будет равна 1/13 • 1/13 = 1/169. Мы имеем дело с двумя независимыми событиями. Если же мы вынимаем две карты из одной кучки и спрашиваем о вероятности того, что при первом вынимании извлечем туз, а при втором - двойку, то здесь вероятность первого события равна 1/13, а второго 1/12. Таким образом вероятность интересующего нас события равна уже 1/13 • 1/12 = 1/156.
Нам особенно важно привести сейчас следующую формулировку Муавра: ”. . . вероятность появления двух зависимых событий равна произведению вероятности появления одного из них на вероятность того, что другое должно появиться, если
первое из них уже появилось. Это правило может быть обобщено на случай нескольких событий”.
Мы видим, таким образом, что формулировку теоремы умножения вероятностей и введение понятия условной вероятности удалось осуществить только Муавру. Это им было сделано уже в 1718 г. в первом издании его ’’Доктрины шансов”.
О вероятности совместного наступления нескольких событий Муавр писал следующее: ”. . . надо обозначить одно из них как первое, другое как второе и т.д. Тогда вероятность появления первого должна рассматриваться как независимая от остальных; вторая - в предположении, что первое произошло, третье - в предположении наступления первого и второго и т.д. Следовательно, вероятность наступления всех событий равна произведению всех только что указанных вероятностей”. Далее Муавр отметил, что разыскание условных вероятностей, как правило, представляет собой сложное занятие.
Общее положение Муавр продемонстрировал на решении ряда задач. Вот одна из них. Пусть события Д, В и С независимы в совокупности и х, у, z означают вероятности их наступления. Тогда xyz есть вероятность наступления всех трех событий, а 1- (1 - х) • (1 - j') ' (1 - z) - вероятность наступления хотя бы одного из событий А, В, С.
В упомянутой ранее работе Байеса содержится формулировка теоремы умножения вероятностей (предложение 3) : ’"Вероятность того, что наступят оба взаимосвязанные события, есть соотношение, получающееся от перемножения вероятности первого события на вероятность наступления второго в предположении, что первое наступило”. Мы уже видели, что это предложение было четко сформулировано Муавром и, поскольку произведение Муавра было широко известно, Байес, несомненно, заимствовал его у своего знаменитого предшественника. Единственно, в чем Байес пошел дальше Муавра — это в формулировке следствия о вычислении вероятности Р {3|Д} по вероятностям Р{ДЗ} и Р {д } . Это предложение дало основание приписывать Байесу формулы, носящие его имя. В действительности у него их нет, поскольку он не знал формулы полной вероятности.
Результат, приписываемый Байесу, по-видимому, впервые получил современную формулировку у Лапласа в его ’’Опыте философии теории вероятностей”. В главе ’’Общие принципы теории вероятностей” он сформулировал принцип VI. который относится к вероятности гипотез или, как писал Лаплас, вероятности причин. Пусть некоторое событие А может произойти с одним из п несовместимых событий BY, В2, . . . , Вп и только с ними; эти события Лаплас называет причинами. Спрашивается, если известно, что событие наступило, чему равна вероятность того, что осуществилась и причина Sz? Вот формулировка ответа, данного Лапласом: ’’вероятность существования какого-либо из этих причин равна, следовательно, дроби, числитель которой есть вероятность события, вытекающая Из этой причины, а знаменатель есть сумма подобных вероятностей, относящихся ко всем причинам: если эти различные причины, рассматриваемые a priori, не одинаково вероятны, то вместо вероятности события, вытекающей из каждой причины, следует взять произведение этой вероятности на вероятность самой причины”. Легко понять, что Лаплас словесно сформулировал извечное ’"правило Байеса”
р{з,|д} -pIbA pVaxb^k s pUA р{Д|3,-}).
/= i '
Более того, этот принцип Лапласа содержит и формулу полной вероятности, которой с начала XVIII века широко пользовались в своих работах многочисленные математики, работавшие в области теории вероятностей. Они понимали как использовать принцип, заложенный в формуле полной вероятности, но его не формулировали.
Мы видим, таким образом, что основные принципы действия с вероятностями вычленялись длительным путем. Их многократно использовали при решении отдельных задач и использовали правильно, но не формулировали их в качестве особых предложений. И потребовалось почти целое столетие, чтобы после введения в науку понятия вероятности сформулировать для этого понятия систему правил действия с ним. Как постоянно происходит в истории науки, такие правила широко использовались фактически, но потребности в их формулировании не ощущали. Попутно при этом вводились и дополнительные понятия, которые позволяли глубже вникать в природу вещей. В нашем случае этими понятиям являются понятия несовместимости и независимости случайных событий.
Задача о разорении игрока
Несомненно, что задача о разорении игрока в развитии теории вероятностей играла серьезную роль — она позволяла оттачивать методы решения сложных вопросов и в какой-то мере является исходным пунктом для развития теории случайных процессов. Действительно именно в этой задаче впервые начали изучать состояние системы в зависимости от времени. Точнее - положение игроков после заданного числа партий. Задача о разорении игрока была впервые сформулирована Гюйгенсом в книге ”0 расчетах в азартных играх” (см. § 5 первой главы настоящего очерка, задача 5). Этой задачей занимались многие выдающиеся математики прошлого - Я. Бернулли, Н. Бернулли, Муавр, Лаплас и др. Интересно отметить, что Я. Бернулли критиковал Гюйгенса за то, что тот решал и предлагал трудные задачи, но не в буквенной форме, а в числовом виде и тем самым ограничивал возможности выявления общих закономерностей.
Первые подходы к решению задачи о разорении игрока почти одновременно были предложены тремя математиками - П. Монмором (1687-1719), А. Муавром и Н. Бернулли (1687-1759). Их результаты относились к 1710-1711 г. Задачи Гюйгенса в их формулировке слегка преобразилась и приобрела привычный для нас вид: игроки А и В имеют соответственно а и b франков и при каждой партии некоторой игры один из них выигрывает у другого 1 франк. Вероятность выигрыша игрока А для каждой партии равна р, для игрока В вероятность выигрыша равна q = 1 - р. Спрашивается, чему равны вероятности ра и рд того, что игрок А выиграет (соответственно игрок В) игру (т.е. игрок А выиграет все деньги В раньше, чем В выиграет их у А).
Муавр опубликовал свои результаты в журнале Philosophicol Transactions за 1711 г. Он нашел, что
= (qlp*a - 1= ФкУ*- 1
Ра (я№а*Ь - 1 ’ Pb ^plq^b_x
и что математическое ожидание числа N необходимых для завершения игры партий равно
„.. bPa - арь
МА = .
P-Q
Ему же удалось найти вероятности ра п и рь,п того, что игрок А выиграет игру за п партий (соответственно выиграет игру за п партий игрок В). В современных обозначениях искомая формула имеет следующий вид:
„- «ts-b ts „ i ,п-b-lts-i i—
Pa,n"^\P 9 ^c ФQ -QP )) -
ti
-S<pts-iqts+iSct(pn-b-2ts-2a-iqi-qn-b-2ts-2a-ip5V ti
Здесь введено обозначение s = а + 6; суммирование распространяется на те значения I, при которых все показатели неотрицательны.
Вдобавок им был подробно рассмотрен случай, когда а = 00.
В 1710 г. формулы для р^п, рь,п в случае р = q нашел Монмор. Свои соображения он переслал Иоганну Бернулли, который передал письмо своему племяннику Николаю. Ответное письмо Николая Бернулли от 26 февраля 1711 г. содержало решение и для случая р q. Это письмо Монмор опубликовал в 1713 г. в трактате ’’Опыт анализа азартных игр” (Р. Monmort, Essai d’analyse jeux asard).
Я. Бернулли также рассматривал задачу о разорении игрока, как в частных случаях (для а = b = 2), так и в общем случае. При ее решении он следовал методу Гюйгенса и получил довольно далеко идущие результаты (для вероятностей ра и р^.
Рассмотрение решений, предложенных Я. Бернулли, Н. Бернулли, Монмором и Муавром, ясно показывают, что все они владели приемами оперирования с вероятностями сложных событий. Практически они безукоризненно точно' использовали теоремы сложения и умножения вероятностей, а также формулу полной вероятности, хотя в ту пору они еще не получили четкой формулировки. Происходило накопление опыта и выделение тех правил, которые постоянно необходимы при подсчете вероятностей сложных событий.
Возникновение предельных теорем теории вероятностей
На последующее развитие теории вероятностей огромное воздействие оказала идея, впервые высказанная и осуществленная Я. Бернулли - рассматривать не только точные решения задач теории вероятностей, но и их асимптотические постановки при неограниченном увеличении некоторого параметра. Конечно, в первую очередь следует указать в этом плане на закон больших чисел в форме Я. Бернулли. Именно он послужил источником для различного рода уточнений как в XVIII, так и в последующие столетия.
Сам Я. Бернулли дал формулировку своей теоремы в отличном от принятого теперь виде. Мы приведем его формулировку несколько позднее. Сейчас же отметим, что и принятая им терминология отлична от современной и связана с демографией. Так, Я. Бернулли использовал для обозначения испытаний, при которых интересующее нас событие происходит, слова ’’плодовитый”, ’’фертильный”, а для противоположных исходов - слово ’’стерильный”. Теперь мы можем перейти к оригинальной формулировке теоремы Я. Бернулли, которую он ценил и вынашивал по его словам свыше двадцати лет.
"Пусть число фертильных случаев к числу стерильных случаев относится точно или
гг
приближенно как— или же это число относится к числу всех случаев как или же sг + s
гг - 1 г + 1
как — ) . Последнее отношение находится, следовательно, между и .
ttt
Нужно доказать, что можно произвести столь большое число опытов, что число поя-
. Г - 1 вившихся фертильных наблюдений к числу всех опытов будет больше, чем , и
Г
г + 1 меньше, чем .”
t
Ясно, что эта формулировка лишь словесно отличается от принятой теперь.
Мы уже говорили, что книга "Искусство предположений" Я. Бернулли была широко известна многим математикам задолго до ее публикации. В частности, она была тщательно изучена его племянником Н. Бернулли, который в 1709 г. защитил диссертацию для получения ученой степени лиценциата прав под названием "О применении искусства предположений в вопросах прав". Во второй главе "О способе установления вероятности человеческой жизни”, исходя из таблиц Граунта, он изучал вопрос о вероятности дожития до определенного возраста. Нам сейчас интересно отметить, что он отметил факт, подмеченный из изучения долголетних регистраций рождений, что мальчиков рождается больше, чем девочек. При этом отношение числа рождений мальчиков к числу рождения девочек оказывается, как он считал, равным 18 : 17. Подробное изучение содержания этой главы показывает, что Н. Бернулли принимал вероятность рождения мальчика равной рм = 18:35 ~ 0.5 14 и соответственно вероятность рождения девочки равной рд = 17 : 35 » 0,486.
Далее Н. Бернулли рассмотрел пример, когда имеется 14000 рождений. Тогда, согласно формулам Я. Бернулли, имеет место равенство (д означает фактическое число рождений мальчиков)
Р{IМ - 7200 I <163} =Р{7037 <м < 7363} = ^ Г!.р'У400° '
i-7038 |4иии
Фактическое число рождений мальчиков зависит от случая. Приведенная формула позволяет вычислять вероятность того, что число рождений мальчиков будет заключено в указанных границах. Однако вычисления, которые при этом необходимо произвести. сложны.
Интересно, что в точности этот пример рассмотрен Лапласом в "Аналитической теории вероятностей” (1-е изд., с. 281). В качестве искомого значения вероятности неравенства 7037 < м < 7363 Лаплас указал величину 0,994303.
В двух последних изданиях книги Муавра "Доктрина шансов” был помещен перевод его статьи 1733 г. "Approximation ad summum terminonum Binomii (a + b)n in serien- expansis”. Согласно словам самого автора ”Я помещаю здесь перевод моей работы, написанной 12 ноября 1733 года и сообщенной некоторым друзьям, но никогда не публиковавшейся” ("Доктрина шансов”, 1 756, с. 242). В кратком введении Муавр отметил, что для. решения ряда задач теории вероятностей необходимо подсчиты- к
вать суммы S Рп^т) членов биномиального распределения и что вычисления стано
вятся громоздкими при больших значениях числа испытаний п. В результате перед Муавром возник вопрос о разыскании асимптотической формулы. Эта задача им была благополучно решена. Основная трудность, которая при этом возникла, состояла в оценке факториала т ! при больших значениях т. Муавру удалось доказать, что имеет место асимптотическое равенство т! « Вх/те-т тт, где В - постоянное. При этом оказалось, что
1п5= 1 - 1/12+ 1/360 - 1/1260+ 1/1680 - . ..
Муавр нашел, что приблизительно В « 2,5074, однако это его не удовлетворило и ему хотелось связать эту константу с ранее введенными в математику. Он обратился со своей проблемой к Д. Стирлингу (1692-1770). Стирлинг с успехом разрешил воп-
рос и показал, что В = \Jlrt 2,506628. . . В связи со сказанным хотелось бы oiметить, что известную формулу Стирлинга для приближенного вычисления факториала в случае больших чисел следовало бы называть точнее формулой Муавра и. самое меньшее - формулой Муавра - Стирлинга. Заметим дополнительно, что Мчало впервые вычислил и опубликовал таблицу функции Inn! для значений п о~ 10 до 900.
Использовав найденную им формулу ’’Стирлинга”, Муавр первоначально выяснил,что в случае р = q = 0,5 средний член бинома (1/2 + 1/2) ” асимптотически равен Yl^ln-npq, а затем доказал локальную теорему, носящую теперь его имя (’’Доктрина шансов”, с. 243-244). То, что Муавр начал со случая р = q = 0,5 вполне естественно, поскольку именно этот случай играет значительную роль в простейших задачах демографии. Далее Муавр получил локальную теорему для р * 0,5 фактически в принятом теперь виде.
Имея в руках локальную теорему, Муавр без затруднений сформулировал и интегральную теорему, правда, только для симметричных границ. Впрочем, интегральная теорема, доказанная для симметричных границ, без труда распространяется и на общий случай. Он оценил важность выражения sjnpq для теории и предложил для него специальное наименование - модуль.
Использовав метод приближенного интегрирования Ньютона - Котса, Муавр вычислил для случая р = q = 0,5 вероятность
_ 1
Р( —и - Vn < м < — и + 12 2 )
Согласно его подсчетам, она оказалась равной 0,95428. Теперь, используя таблицы, несложно проверить его расчеты и убедиться в том, что допущенная им ошибка невелика, только в четвертой значащей цифре (табличное значение равно 0,95450). Точно так же он подсчитал вероятность
Его результат - 0,99874. Табличное значение с таким же числом значащих цифр - 0,99731.
Муавр отметил, что интегральную теорему можно использовать и для оценки неизвестной вероятности р, т.е. для решения обратной задачи - задачи математической статистики.
Контроль качества продукции
В связи с переходом промышленности на массовое изготовление изделий, за последние пятьдесят - шестьдесят лет резко увеличился интерес к вопросам проверки качества изделий, входящих в принимаемую партию. Появилась глубокая по содержанию и значительная по своим практическим применениям теория статистических методов приемочного контроля, основанная на широком использовании теории вероятностей.
Первым шагом, относящимся к этому кругу идей, по-видимому, следует считать одну из задач, рассмотренных Т. Симпсоном в книге ’’Природа и законы случая” (1740). Вот формулировка этой задачи: имеется данное число вешей различного сор- та-пг вещей первого и2 - второго,. . . Наудачу берутся m вещей. Найти вероятность того, что при этом будет взято mt вещей первого сорта, тг вещей второго и т.д. В настоящее время эта задача не представляет труда для студентов, приступающих к изучению основ теории вероятностей. В ту пору она была предметом серьезного научного трактата.
Спустя сто с небольшим лет, к этой задаче вновь вернулся М.В. Остроградский (1801-1862) в работе ”06 одном вопросе, касающемся вероятностей” (1846). В математическом отношении это произведение Остроградского не представляет большого интереса, но глубокое понимание самой практической задачи заслуживает нашего внимания. По-видимому, в этом отношении он имеет приоритет перед всеми исследователями. Во всяком случае Симпсон практических следствий из своих подсчетов не делал, а Остроградский вычислил и необходимые для практических применений таблицы. Приведем подлинные слова Остроградского.
”В сосуде имеются белые и черные шары, общее количество которых нам известно, но мы не знаем, сколько из них какого цвета. Мы извлекаем некоторое количество шаров, подсчитав, сколько из них белых и сколько черных, снова кладем в сосуд. Требуется определить вероятность того, что общее число белых не выходит из наперед заданных пределов. Или, лучше сказать, мы ищем зависимость между этой вероятностью и пределами, о которых идет речь.
Чтобы понять важность этого вопроса, представим себя на месте того, кто должен получить большое число предметов, причем должны выполняться некоторые условия, и кто, чтобы проверить эти условия, должен на каждый предмет потратить некоторое время. Перед армейскими поставщиками часто стоят такого рода задачи. Для них шары, содержащиеся в сосуде, представляют получаемые предметы, белые, например - предметы приемлемые, как удовлетворяющие определенным условиям, а черные - неприемлемые.
Таким образом, если бы вопрос, который мы перед собой поставили, был решен, поставщик мог бы воспользоваться этим, чтобы свести приблизительно к двадцатой доле часто очень утомительную механическую работу, как, например, проверку большого количества мешков муки или штук сукна".
Общее число шаров в урне известно, но неизвестен ее состав. Его и следует оценить по выборке, взятой из урны наудачу. Для этой цели Остроградский использует формулы Байеса. Однако его рассуждения базируются на одном предположении, которое вызывает серьезные возражения, поскольку в реальной практике не может встретиться. Именно, он предположил, что если п - общее число шаров в урне, то одинаково вероятны все гипотезы о распределении среди них белых и черных шаров, т.е. что одинаково вероятны все следующие п + 1 предположения о числе белых шарор: О, 1, 2,.. . , п. В действительности ближе к истине предположение, которое используется теперь в задачах приемочного статистического контроля качества. Предполагается, что имеется причина, в силу которой каждое изделие может оказаться бракованным с вероятностью р. Для хорошо организованного производства р должно быть малым и практически неизменным. Если же технологический процесс налажен плохо, то вероятность р зависит от времени и может достигать большой величины. Но очевидно, что в этом случае статистический контроль не может принести пользы. Если же р мало и постоянно, то вероятность среди п изделий встретить т бракованных задается формулой Бернулли
V») р q .
Статистические методы приемочного контроля получили особенно бурное развитие в годы Второй мировой войны, поскольку было необходимо принимать огромные партии однородной продукции, а проверять ее сплошь не было возможностей по ряду причин, из которых укажем лишь на следующие: для некоторых видов продукции проверка равносильна уничтожению рабочих свойств изделия (фотобумага, взрыватели и т.д.); для сплошной проверки требовалось такое количество рабочей силы и рабочего времени, что ни то, ни другое не могло быть обеспечено в условиях военного времени. Нет возможности здесь перечислить даже основные этапы развития теории статистических методов приемочного контроля. Большое число исследова-
телей работали над различными проблемами этой тематики и внесли в ее развитие крупный вклад. Из отечественных ученых заслуживают быть отмеченными А.Н. Колмогоров, В.И. Романовский (1879-1954), С.Х. Сираждинов (р. 1921), Ю.К. Беляев (р. 1932) и др.
В период Великой Отечественной войны 1941- 1945 г. огромное внимание было уделено разработке методов управления качеством продукции в процессе производства. Это весьма важное направление работы, поскольку оно должно не просто разбраковывать изготовленную продукцию, но своевременно вмешиваться в производственный процесс и не допускать изготовления некачественной продукции. Именно к э1 ому и должно стремиться любое производство. Итак, для управления качеством нужно разработать методы, которые позволяли бы поймать тот момент, когда бракованная продукция еще не производится, но возникает повышенная вероятность начала ее производства.
Идея статистического метода управления качеством в процессе производства состоит в том, чтобы время от времени проверять небольшие партии продукции (5-10 штук), только что сошедших со станка. По результатам таких проверок судят о качестве наладки. Эти проверки осуществляются не слишком часто, чтобы не лихорадить переналадками оборудования производственный процесс, и не слишком редко, чтобы не пропустить момент его разладки. Далее результаты наблюдений наносятся на так называемые контрольные карты, которые позволяют судить, что следует предпринимать после каждой серии таких наблюдений - прекращать работу для переналадки оборудования или же продолжить производственный процесс.
Если на ряде производств первичное произведение замеров параметров, определяющих качество продукции, допустимо и теперь оценивать вручную, то на других производствах оно уже требует заметного усовершенствования и перехода к автоматизации замеров и обработки результатов измерений. Дело в том, что во многих случаях приходится иметь дело с огромной скоростью технологических операций. Скорость настолько велика, что пока оператор производит измерение параметров отобранных изделий, автомат успевает изготовить сотни других изделий, а прокатный стан - прокатать сотни метров продукции. В результате при ручном измерении оказывается, что запаздывает информация о наладке процесса, а вместе с ней и управляющее воздействие. Вот почему теперь предложены автоматы, которые замеряют необходимые параметры и сами выполняют математические операции, необходимые для управления качеством.
Методы приемочного контроля и статистические методы управления качеством оказались весьма эффективным средством упорядочения производства и экономии станочного времени, материалов, рабочей силы. Экономический эффект от использования этих методов исчисляется миллиардами рублей (долларов, марок и т.д.). По- настоящему история статистических методов контроля и управления еще недостаточно изучена и нуждается в энтузиастах.
Широта применения теории вероятностей в начале двадцатого века настойчиво требовала глубокого осмысления самих основ этой науки. Наивные представления о случайном событии и его вероятности уже перестали удовлетворять запросы науки. Вот почему ряд ученых - Э. Борель, С.Н. Бернштейн, Р. Мизес и другие предприняли серьезные усилия в пересмотре основ теории вероятностей. В тексте книги мы познакомились с широко распространенным подходом к этой проблеме, предложенным А.Н. Колмогоровым в статье 1927 г. и нашедшем завершение в его монографии ’’Основные понятия теории вероятностей” (1933).
ГЛ АВ А 3
К ИСТОРИИ ФОРМИРОВАНИЯ понятия СЛУЧАЙНОЙ ВЕЛИЧИНЫ
Развитие теории ошибок наблюдений
Мы уже упоминали в первой главе о том, что Галилео Галилей заложил основы теории ошибок измерений и ввел в рассмотрение ряд важных понятий, которые сохранили значение и в наши дни.
Позднее под влиянием в первую очередь астрономических и геодезических наблюдений интерес к ошибкам измерений заметно возрос. Знаменитый астроном-наблюдатель Тихо Браге (1546-1601) обратил внимание на то, что каждое отдельное измерение несет в себе возможную ошибку и точность измерений значительно повышается, если произвести несколько измерений и взять из них среднее арифметическое. Впрочем рекомендация пользоваться средним арифметическим для уточнения размеров была дана задолго до Тихо Браге. Так, согласно литературным данным, в одном древнеиндийском математическом трактате рекомендовалось при подсчете объема земляных работ делать измерения в нескольких местах и затем оперировать со средними арифметическими (см. Л. Е. Майстров ’’Развитие понятия вероятности”, с. 74 ).
Казалось бы от И. Кеплера (1571 -1630), сделавшего так много для формирования законов движения планет, следовало ожидать повышенного внимания к методам обработки результатов наблюдений. Но эти вопросы фактически остались в стороне от его интересов и он заметил только то, что хороший наблюдатель производит измерения с ошибками ограниченной величины. В этом плане интересны его слова, относящиеся к Тихо Браге ’’благость божья дала нам в лице Тихо столь точного наблюдателя, что ошибка в восемь минут невозможна, поблагодарим бога и воспользуемся этой выгодой. Эта восемь минут, которыми пренебречь нельзя, дадут средство преобразовать всю астрономию”.
Первые попытки построить математическую теорию ошибок измерений принадлежат Р. Котсу (1682-1716), Т. Симпсону (1710-1761) и Д. Бернулли (1700-1782).
Предположения, которые были высказаны указанными авторами о закономерностях распределения ошибок измерения, были весьма различны. Котс считал, что ошибки равномерно распределены в некотором отрезке (- а, а). Симпсон исходил из предположения, что малые ошибки допускаются чаще, чем большие и также ограничены по абсолютной величине некоторым числом а. Симпсон считал, что ошибки подчинены треугольному распределению, плотность которого равна 0 в отрезках от - “> до - а и от а до + =; в отрезке (-а, 0) ее уравнение будетх - 2а2 у =- а и, наконец, в отрезке (0, а) имеет уравнение х + 2а1 у =а. Следует заметить, что как Котс, так и Симпсон не рассматривали в сущности плотности распределения, поскольку они считали, что ошибки укладываются в арифметическую прогрессию с очень малой разностью и неопределенным числом возможных значений.
Симпсон для избранного им распределения доказал, что среднее арифметическое дает лучшую точность, чем каждое отдельное измерение. Этому результату он придавал большое значение и опубликовал его в работе ”0 преимуществе выбора среднего из некоторого числа наблюдений в практической астрономии” (Philos Trans. 1755).
Значительный интерес представляет работа Д. Бернулли (1700-1782) "Наиболее вероятное определение по нескольким расходящимся между собой наблюдениям и устанавливаемое отсюда наиболее правдоподобное заключение", опубликованная
в 1778 г. в изданиях Петербургской Академии наук. Эта работа интересна тем, что в ней впервые был высказан и использован для оценки неизвестного параметра принцип максимального правдоподобия. Д. Бернулли начал свой мемуар с сомнений о целесообразности применения всеобще принятого принципа среднего арифметического. В качестве плотности распределения он принял функцию, определенную равенством у = V^2 - (* - х)1, в котором параметр R известен, а х должно быть определено по результатам наблюдений. Заслуживает внимания то, что Д. Бернулли не обратил внимания на следующее обстоятельство: интеграл от принятой им плотности распреде-
я
ления равен - R1 и, следовательно, только при одном значении R может быть плотно- 2 ’
стью распределения вероятностей.
К этой работе Д. Бернулли был написан комментарий Л. Эйлером (1707-1783), в котором, во-первых, критиковался метод максимального правдоподобия (конечно, тогда этого термина еще не было и в помине) и, во-вторых, предлагалось отбрасывать наблюдения, далекие от истинного значения параметра, поскольку они мало вероятны.
Следует отметить работы И. Ламберта (1728-1777), который в статьях 1760 и 1765 г. изложил цели теории ошибок измерений (кстати, ему принадлежит и сам этот термин), свойства ошибок, оценку точности наблюдений и правила подбора кривых по наблюденным точкам, содержащим случайные ошибки. Позднее появилась работа Ж. Лагранжа (1736-1813), посвященная выяснению роли среднего арифметического при оценке истинного значения измеряемой величины.
Для П. Лапласа (1749-1827) теория вероятностей была не столько математической, сколько естественно-научной дисциплиной. В связи с его занятиями астрономией, он неизбежно должен был прийти к вопросам теории ошибок наблюдений и вместе с тем заинтересоваться теорией вероятностей. Лаплас получил ряд важных результатов в теории ошибок наблюдений, которые вошли в практику обработки данных наблюдений. Мы не станем здесь вдаваться в подробности его исследований, поскольку для нас описание теории ошибок измерений не является самоцелью. Нас интересует ее связи с развитием теории вероятностей. В этом плане особый интерес представляют две идеи П. Лапласа. Первая из них вызвала к жизни значительное увеличение интереса к предельным теоремам для сумм независимых случайных величин. Именно, согласно Лапласу, наблюденные ошибки измерений являются результатом суммирования очень большого числа элементарных ошибок. Если эти ошибки равномерно малы, то Лаплас предположил, что распределение их суммы должно быть близко к нормальному.
Вторая идея касается оценки измеряемой величины по результатам х,, хг, . . . , хп измерений. В качестве оценки неизвестного значения а измеряемой величины Лаплас предложил брать то значения а = а(х1,. . . , хп), при котором обращается в минимум
и л
сумма 2 I х^ — а I. Оказывается, что а при этом равняется эмпирической медиане, к = 1
т.е. тому значению х, слева и справа от которого расположено одинаковое число наблюденных значений. Этот прием не получил в ту пору распространения, поскольку вскоре был предложен другой метод, приводящий к более простым результатам. Разработка этого нового метода связана с именами Гаусса (1777-1855), Лежандра (1752-1833) и американского математика Р. Эдрейна (1775-1843). Их работы составили в теории ошибок наблюдений настоящую эпоху. Гауссом и Лежандром был предложен и разработан метод наименьших квадратов. Гаусс предложил его второй книге большого трактата "Теория движения небесных тел, вращающихся вокруг солнца по коническим сечениям” (1809). Лежандр же изложил свои идеи в работе ’’Новые методы для определения орбит комет” (1806), к которой было сделано специальное дополнение ”О методе наименьших квадратов". Сам Гаусс неоднократно 14*
писал, что он пользовался этим методом, начиная с 1795 г. Гауссом и Эдрейном было показано, что при некоторых весьма широких условиях плотность ошибок измерений h
имеет вид у>(Д) = —— ехр(- /12 Д2) .
Необходимо сказать, что влияние Гаусса, Лежандра и Эдрейна на развитие науки оказалось весьма различным. Статья Эдрейна, опубликованная в мало распространенном американском журнале, прошла практически незамеченой. Работы же Гаусса и Лежандра почти мгновенно стали известны научному миру. Ученые восприняли предложенный ими метод и начали систематически использовать его в своей практической работе.
Большой вклад в дальнейшее развитие этой теории внес С. Пуассон (1781-1840). В частности, Пуассон задался вопросом: всегда ли среднее арифметическое дает лучший результат по сравнению с отдельным наблюдением? Ответ оказался отрицательным. Именно: ему удалось указать распределение, для которого этого правило оши-
1
бочно. Плотность этого распределения равна р(х) =, - °= < х < °°.
я(1 + х2)
Пуассон обнаружил, что сумма двух независимых случайных величин с только что указанной плотностью распределения имеет с точностью до масштаба такое же распределение. Далее он обнаружил, что среднее арифметическое из независимых наблюдений над такой случайной величиной имеет в точности такое же распределение. Через двадцать лет (в 185 3 г.) О. Коши (1789—185 7) повторил эти результаты, после чего указанное распределение получило наименование распределения Коши. Пуассон же, первооткрыватель этих результатов, был забыт.
Позднее теория ошибок измерений привлекала внимание практически всех видных специалистов в области теории вероятностей. П.Л.Чебышев и А. А. Марков (1856-1922) и многие другие уделяли внимание как методу наименьших квадратов, так и другим вопросам теории ошибок. Теория ошибок оказала серьезное влияние на постановки задач и разработку методов математической статистики. Теперь теория ошибок включается в качестве естественной части в математическую статистику.
Формирование понятия случайной величины
Мы неоднократно говорили о том, что формирование научных понятий проходит длительный и сложный путь, прежде чем войти во всеобщее употребление. Как правило, необходимое понятие еще не введено в научный обиход, а фактически им уже пользуются как при решении практических задач, так и при выводе общетеоретических закономерностей. Этот путь характерен и для случайной величины - основного понятия теории вероятностей и современного естествознания. Введение этого понятия связано с именами многих ученых, которые хотя и не использовали этого термина, но фактически исследовали отдельные его свойства.
Действительно, мы уже знаем, что,начиная с Котса, Симпсона и Д. Бернулли, в XVIII веке начала развиваться теория ошибок наблюдений, возникшая в первую очередь под влиянием астрономии. Ошибка измерения в зависимости от случая может принимать различные значения. Эта позиция была высказана Галилеем задолго до работ только что упомянутых ученых. Он же ввел в обиход термин "случайная” и "систематическая ошибка” измерения. Вторая тесно связана с качеством изготовления прибора, мастерством наблюдателя, условиями наблюдений. Первая же зависит от многочисленных причин, влияние которых невозможно учесть и которые изменяются от наблюдения к наблюдению, от измерения к измерению. Теперь мы ясно видим, что ошибка измерения представляет собой случайную величину с каким-то неизвестным нам распределением вероятностей.
Но с понятием случайной величины встречались уже Я. Бернулли, Н. Бернулли, Монмор, Муавр. В самом деле, Я. Бернулли рассмотрел число появлений интересующего его события А в п независимых испытаниях. Для нас теперь это случайная величина, способная принимать значения 0, 1, 2, . . . , п с вероятностями, задаваемыми формулами Бернулли. Н. Бернулли, Монмор и Муавр, исследуя задачу о разорении игрока, также имели дело со случайной величиной - числом партий, которые необходимы для разорения. Муавр пошел еще дальше - он ввел в рассмотрение нормальное распределение вероятностей. Однако никто из перечисленных ученых не заметил, что в науку властно постучалась необходимость введения нового понятия - случайной величины. Первый из них оставался на уровне схемы последовательности случайных событий, остальные же ограничились той частной задачей, которая перед ними стояла. Для Муавра нормальное распределение было лишь аппроксимирующей функцией, дающей хорошее приближение к точному значению искомых вероятностей.
Мы говорили, что первоначально считалось, что возможные значения ошибок измерений составляют арифметическую прогрессию с неопределенной, но очень малой разностью. Затем постепенно от этого предположения отказались и стали представлять себе, что возможные значения, принимаемые ошибками наблюдений, заполняют целый отрезок, вероятности возможных значений определялись посредством плотности распределения. И если Д. Бернулли в отношении плотности распределения вероятностей допускал еще определенные вольности, то у Лапласа, Гаусса, Лежандра с плотностью распределения было уже все в порядке. Это была .неотрицательная функция, интеграл от которой по всей прямой равен единице, а вероятность попадания в тот или иной отрезок равнялся интегралу от плотности, взятому по этому отрезку. Лапласу уже была известна формула для разыскания плотности распределения суммы по плотностям распределения слагаемых. В знаменитой книге "Аналитическая теория вероятностей” Лаплас умело оперирует с плотностями распределения, ставит и решает ряд интересных задач, но нигде не вводит понятия случайной величины. Он либо использует язык теории ошибок измерений, либо язык математического анализа и не ощущает потребности в новом понятии теории вероятностей.
Первая половина XIX века принесла новые задачи, которые нуждаются в понятии случайной величины. Прежде всего - это исследования бельгийского естествоиспытателя А. Кетле (1796 — 1874), заметившего, что размеры органов животных определенного возраста подчиняются нормальному распределению. Изучение уклонений снаряда от цели явилось предметом исследования многих ученых; они также привели к выводу о нормальном распределении этой величины. С середины XIX века начались замечательные работы Д.К. Максвелла (1831 - 1879) и ряда других ученых по математической теории молекулярной физики газов. И здесь снова нормальное распределение завоевало почетное место.
Заслуживает внимания постановка еще одной задачи Гауссом. Он сформулировал ее 25 октября 1800 г. (именно за этот день в его дневнеке под № ИЗ сделана соответствующая запись). Через двенадцать лет он сформулировал ее в письме к Лапласу от 30 января 1812 г. Эта задача относится к интересному, начавшему развиваться лишь в нашем веке разделу математики - метрической теории чисел; одновременно она имеет самое непосредственное отношение к изучению равномерно распределенных случайных величин. В постановке задачи предоставим слово самому Гауссу. В упомянутом письме к Лапласу он писал: ”... я вспоминаю любопытную задачу, которой я занимался уже 12 лет назад, но для которой я не нашел тогда удовлетворяющего меня решения.
Быть может, Вы соблаговолите заняться ею несколько минут: в этом случае, я убежден. Вы найдете более полное решение. Вот она. Пусть М - неизвестная величина, заключенная между пределами 0 и 1, для которой все значения или одинаково вероятны или же более или менее следуют данному закону: предположено, что она
разложена в непрерывную дробь М = 1/ а^ + 1/а^ +... . Чему равна вероятность того, что, отбросив в разложении конечное число членов до а^, следующая дробь 1[а^ + 1!а^п+^ + . . . будет заключена в пределах от 0 до х? Я обозначаю ее через Р(и, х) и предполагаю, что для Мвсе значения одинаково вероятны: Р(0, х) = х."
Гипотеза Гаусса состояла в том, что
lim Р(п, х) = 1п(1+х)/1п2.
Он писал далее, что при решении этой задачи ’’усилия, которые я делал, . . . оказались бесплодными”. Решение этой задачи появилось лишь в 1928 г., его дал P.O. Кузьмин (1891 - 1949). Через год П. Леви (1886 - 1971) дал для этой задачи чисто вероятностное решение, получив для быстроты сходимости к пределу лучшую, чем у Кузьмина, оценку. Позднее было доказано, что результат сохраняется для любой случайной величины М, для которой Р(0, х) имеет ограниченную производную. Это замечание делает более ясными неопределенные слова Гаусса о том, что для величины М "все значения или одинаково вероятны или же более или менее следуют данному закону".
Заслуживает упоминания то обстоятельство, что функция Р(0, х), также как и Р (п, х), представляет собой функцию распределения.
Мы видим, что многочисленные исследования многих крупных математиков подготовили почву для введения понятия случайной величины. По-видимому, первый шаг был сделан Пуассоном в мемуаре 1832 г. ”0 вероятности средних результатов наблюдений". Этот факт мне сообщил О.Б. Шейнин. Термина случайная величина у Пуассона еще нет, но он пишет о ’’некоторой вещи”, которая способна принять значения av а2, . . . , а^ соответственно с вероятностями р,, рг, . . . , р^. Он рассмотрел также непрерывные случайные величины и их плотности распределения.
Итак, Пуассоном был сделан важный шаг в науке - он ввел в научный обиход новое понятие - случайную величину. Его первоначальный термин ’’вещь” не привился и скоро перестал употребляться. Чебышев в своих мемуарах по теории вероятностей уже использует термин ’’величина” и автоматически считает все случайные величины, с которыми имеет дело, независимыми. В работах же Ляпунова по теории вероятностей систематически используется термин "случайная величина” и всюду, где это необходимо, оговаривается, что автор имеет дело с независимыми случайными величинами.
Отметим еще одно обстоятельство. В самом начале § 4 работы ”06 одном предложении теории вероятностей” Ляпунов определил функцию распределения точно также, как мы делаем это теперь. Он привел в этой работе широко используемую формулу
Р {а < £ < 6} =FW - F^.
Полезно заметить, что в трактатах по теории вероятностей А. Пуанкаре (1854 - 1912) "Исчисление вероятностей”, Э. Бертрана ’’Исчисление вероятностей”, Чубера "Теория вероятностей и математическая статистика” понятие функции распределения не вводилось (книги, изданные до 1912 г.)
Определение случайной величины, данное Пуассоном, теперь уже не может считаться математическим. Это скорее описание реального объекта изучения, обращение к интуиции, полученной в результате житейского и научного опыта. Это описание широко используется и в наши дни на начальных ступенях педагогического процесса, связанного с изложением основ теории вероятностей. Даже несложный логический
анализ этого определения показывает, что из него совсем не следует правила для действий над случайными величинами - сложения, вычитания, умножения и пр. Для того, чтобы случайная величина приобрела статус полноценного математического понятия, ей необходимо дать строго формализованное определение. Это было сделано в конце двадцатых годов А.Н. Колмогоровым в небольшой статье, посвященной аксиоматике теории вероятностей, а затем в подробностях изложено в его знаменитой книге ’’Основные понятия теории вероятностей”. Подход Колмогорова стал теперь общепринятым, поскольку он полноценно включил теорию вероятностей в общий стиль современного изложения, принятый в математике.
Закон больших чисел
Знаменитая теорема Я. Бернулли о сближении при увеличении числа наблюдений вероятности события А с частотой его появления получила первое обобщение лишь в 1837 г. в работе С. Пуассона ’’Исследования о вероятностях в решении судебных дел уголовных и гражданских”. Именно в этом мемуаре он ввел сам термин ’’закон больших чисел”.
Пуассон рассмотрел последовательность л независимых испытаний, в каждом из которых может появиться событие А, но с вероятностью р^, зависящей от номера испытания. Если через цп обозначить число появлений события Авл последовательных испытаниях, то при любом е > 0 имеет место соотношение: при л -* °°
Pi +Р2 + • • +Р„1 п
< е -*0.лI |
По поводу этой теоремы Пуассона в небольшой заметке 1843 г. Чебышев писал: ”. . . как ни остроумен способ, употребленный знаменитым геометром, он не доставляет предела погрешности, которую пускает этот приближенный анализ, и вследствие такой неизвестности величины погрешности доказательство не имеет надлежащей строгости”!Чебышев П.Л., Собр. соч. — АН СССР, 1947 — Т. II. — С. 14). Оценку числа л, для которого при заданных е и ц имеет место неравенство
р ( М” Pi +Р2 + • • -*Pn
1лл
Чебышев указал в этой заметке.
Как ни интересны эти результаты, они не внесли в теорию вероятностей существенного прогресса, поскольку в идейном плане они не выходили за пределы концепции Я. Бернулли. Существенный сдвиг в этом направлении связан с работой П.Л. Чебышева ”О средних величинах” (1867), опубликованной одновременно на русском и французском языках. В этой работе он перешел от рассмотрения случайных событий к случайным величинам и тем самым перенес центр тяжести интересов теории вероятностей к изучению случайных величин. Нужно заметить, что Чебышев не упоминал, что он интересуется только независимыми случайными величинами, а, согласно традициям того времени, считал, что других величин не рассматривают. Теорема Чебышева теперь излагается во всех учебниках теории вероятностей. Она неоднократно позднее служила источником обобщений.
В 1909 г. Э. Борель для р = 0,5 показал, что в случае схемы Бернулли имеет более сильное предложение, чем закон больших чисел. Именно, он доказал, а в 1917 г.
это предложение на произвольное р распространил итальянский математик Кантелли, что
р/ Um = р! = 1.
I П —* со И J
Это предложение получило наименование усиленного закона больших чисел.
Широкое обобщение усиленного закона больших чисел было дано А.Н. Колмогоровым в работе 1930 г., а также в 1934 г. в его монографии ’’Основные понятия теории вероятностей” (1932 г.).
Необходимые и достаточные условия для усиленного закона больших чисел были найдены в ряде работ Ю.В. Прохорова 1958 - 1959 г. (см. ”06 усиленном законе больших чисел”, Изв. АН СССР, сер. матем. 14, 6. 1958; ’’Несколько замечаний к усиленному закону больших чисел”, Теория вероятностей и ее применения, т. IV, вып. 2, 215-220, 1959).
В 1935 г. А.Я. Хинчин ввел новое понятие относительной устойчивости сумм, которое должно было дать максимально общую форму закона больших чисел для положительных случайных величин. Пусть £,, (2, . . . - последовательность неотрицательных случайных величин. Про суммы 8п = £, + £2 + . . . + $п говорят, что они относительно устойчивы, если можно найти такие положительные константы Ап > 0, что при любом е > 0 и п -► ~ выполняется соотношение
В случае одинаково распределенных величин f п Хинчину удалось найти необходимое и достаточное условие для относительной устойчивости сумм Sn. Ученик А.Я. Хин- чина А.А. Бобров (р. 1912) распространил этот результат на случай разнораспреде- ленных слагаемых.
Закон больших чисел рассматривался вплоть до 1939 г. как особая предельная теорема и рассматривался обособленно от остальных предельных теорем для сумм независимых случайных величин. В работе Б.В. Гнеденко, о которой речь пойдет в § 17, закон больших чисел был включен в общую теорию предельных теорем, когда предельное распределение имеет единственную точку роста в нуле. Точно также теоремы об относительной устойчивости сумм являются предельными для того случая, когда предельное распределение имеет единственную точку роста при х = 1.
Существенное расширение проблематики, связанной с законом больших чисел, было осуществлено В.И. Гливенко в работах, относящихся к 1929 - 1933 гг., когда он начал рассматривать предельные теоремы для случайных величин со значениями в функциональных пространствах. Пожалуй, вершиной его результатов является замечательная теорема о сходимости эмпирических распределений к истинной функции распределения наблюдаемой случайной величины. Теорема Гливенко, сразу же после ее опубликования, была названа Кантелли основной теоремой математической статистики.
Теорема Гливенко неоднократно обобщалась. В этом направлении работало большое число исследователей, среди которых отметим лишь фразцузских ученых Р. Форте (р. 1912) и Э. Мурье.
Центральная предельная теорема
Теорема Муавра о сходимости распределений центрированного и нормированного числа появлений события Л в и независимых испытаниях, в каждом из которых событие А может наступить с одной и той же вероятностью р, к нормальному распределению долгое время служила образцом для последующих обобщений. Пожалуй, первое обобщение принадлежит Лапласу и уже формулируется как предельная теорема для сумм независимых случайных величин £ ^, каждая из которых равномерно распределена на отрезке ( - h , h ). Это было сделано в работе "Memoire sur les approximation des formules qui sont fonctions de tres grands nombres et sur leur application aux probabilite's” (1809). Лаплас в нем рассматривал дискретные случайные величины с увеличивающимся числом возможных значений. Этим самым давалась аппроксимация непрерывного распределения дискретным. Лаплас доказал, что для каждого $ имеет место такой результат:
lim
или
S U, а2 = Л2/3. к = 1
Заслуживает внимания тот факт, что Лаплас при доказательстве этого результата использовал метод характеристических функций, который, естественно, так тогда еще не назывался.
Существенное продвижение исследований по предельной теореме связано с именем Пуассона. В знаменитом мемуаре 1837 г. "Recherches sur la probabilite' des jujements . . . "он рассмотрел схему последовательности независимых испытаний с разными вероятностями появления события А в каждом из испытаний. Пусть вероятность наступления А при к-м испытании равна рк. Пуассон доказал для этого
случая локальную теорему: Если ряд S рк (1 - рк) расходится, то вероятность к = 1
того, что в п испытаниях событие появится т раз равна
Р {т = пр - 6 Сх/п} = с у— (3 + 2б2) е е ,
где
Р=- 2 Рк. с1 =2Ерк(1 - рк), к- - 2 (2рк - 1)рл(1 - pkY п к = 1 Зп к = 1
В той же книге Пуассон дал ошибочное обобщение этой теоремы на суммы произвольных независимых случайных величин, имеющих конечные дисперсии, при условии их центрирования суммами математических ожиданий и нормирования корнем квадратным из суммы дисперсий слагаемых.
Справедливости ради следует сказать, что в частном случае одинаковой распределенности слагаемых эта теорема верна, однако строгое ее доказательство пришло значительно позднее и связано с именами наших современников - Линдеберга, Феллера и Хинчина.
Заметим, что как работы Лапласа, так и работы Пуассона и всех последующих исследователей, занимавшихся центральной предельной теоремой, были непосредственно связаны с теорией ошибок измерений. И во всех работах говорилось не о сложении абстрактных случайных величин, а о сложении ошибок. По-видимому, впервые от этой традиции отошел Чебышев.
Интерес к нормальному распределению в начале XIX века возрос в связи с появлением знаменитых исследований Лежандра и Гаусса по формулировке и обоснованию метода наименьших квадратов. Ф.В. Бессель еще в 1818 г. в работе ’’Fundamenta Astronomiae pro anno 1755 deducta ex observationibus viri incomportabilis James Bradley in specula Grenovicensi pro annis 1750-1762 institutis” заметил, что наблюдения гринви- ческого астронома Брэдли прекрасно укладываются в схему нормального распределения. Объяснение, которое он предложил этому факту, совпадает с идеей, которую перед этим в течение тридцати лет вынашивал Лаплас: результирующая большого числа случайных воздействий, каждое из которых оказывается малым по сравнению с суммой остальных, подчиняется общему закону и этот общий закон должен быть нормальным. Эту мысль в совершенно отчетливой форме повторил Бессель также в работе 1838г. (Untersuchungen uber die Wahrscheinlichkeit der Beobachtungsfehler//Astr. Nachr. - 1838. - C. 231). Справедливости ради следует сказать, что Бессель обратил внимание на то, что это правило не является всеобщим и могут у ошибок наблюдений встречаться другие, отличные от нормального распределения. Так, если при измерении углов один источник ошибок превалирует над всеми остальными, то плотность распре-
1 деления результирующей ошибки может быть/"(f) = —.
ях/Д2 - х1
Та же концепция обоснования нормального закона, как закона распределения ошибок, дважды встречается в известном учебнике А. Пуанкаре "Calcul des probabili- tes” (Paris, 1912). Первый раз в конце § 140 он писал, что ’’ошибка, связанная с инструментом, есть результирующая очень большого числа независимых одна от другой ошибок, таких, что каждая из них приносит лишь слабую долю в результат; результирующая ошибка следует закону Гаусса”. Затем в самом начале § 144 был подведен следующий итог:
’’Резюмируя, предположим, что окончательная ошибка будет результирующей очень большого числа частых погрешностей, независимых друг от друга, и что нет ошибок систематических; предположим также, что эти ошибки будут иметь приблизительно один и тот же порядок величины, внося каждая в общий результат лишь незначительную долю. В этом случае результирующая ошибка следует приблизительно закону Гаусса.
Такой, мне кажется, лучший довод, который можно дать в пользу закона Гаусса.” Следует сказать, что все эти идеи носят лишь качественный характер и нуждаются в математическом оформлении и последующем доказательстве строгих теорем.
Второй толчок, который вызвал дополнительный интерес к предельным теоремам теории вероятностей, была статистическая физика, начала которой были построены в середине XIX века. Первый общий результат в этом направлении был сформулирован в 1887 г. в работе ”0 двух теоремах относительно вероятностей” П.Л. Чебышева. Сформулированная Чебышевым теорема звучит следующим образом:
Если математические ожидания величин их,иг, . . . равны 0, а математические ожидания всех их степеней имеют числовую величину ниже какого-либо предела.
вероятность того, что сумма их + д3 +. .. +ип, деленная на квадратный корень из удвоенной суммы математических ожиданий их квадратов, заключается между двумя какимичтибудь пределами t и t' с возрастанием и до °= имеет пределом интеграл
Г'
—= [е z dz.
Для доказательства этого предложения Чебышевым был разработан весьма сильный метод, получивший наименование метода моментов и являющийся одним из крупнейших достижений науки того времени. Однако в формулировке теоремы и в ее доказательстве был допущен ряд промахов, которые сразу же взялся исправить ученик П.Л. Чебышева А.А. Марков. Критика мемуара Чебышева содержится в письмах Маркова к профессору Казанского университета А.В. Васильеву, который счел необходимым опубликовать ее в 1898 г. ("Закон больших чисел и метод наименьших квадратов”). В этих письмах Марковым была совершенно строго доказана несколько исправленная теорема Чебышева:
Если Sn - последовательность сумм u, + и2 + . . . + un и Фп(х) - их функции распределения, то из предположения, что при любом целом положительном к имеют место соотношения
о»1°°/ xd-t^x)-* — J— ОО^/2^—”=о»1°°/ xd-t^x)-* — J— ОО^/2^—”=вытекает, что при любыхвытекает, что при любыхxke"^/2dx
о»1°°
/ xd-t^x)-* — J
— ОО^/2^—”=
о»1°°
/ xd-t^x)-* — J
— ОО^/2^—”=
вытекает, что при любых
вытекает, что при любых
а и b имеет место равенство
Метод моментов,которым работал Чебышев, торжествовал победу. Была доказана сильная и, казалось бы, окончательная теорема. Некоторую неудовлетворенность приносило только то, что для простого результата требовалось выполнение счетного множества условий. Неожиданно в нескольких публикациях А.М. Ляпунова на протяжении 1900 и 1901 гг. было обнаружено, что окончательный результат имеет место при выполнении только одного очень простого условия, которое, вдобавок, выясняло смысл тех предположений, которые должны приводить к сходимости распределений нормированных и центрированных сумм к нормальному распределению.
Сначала Ляпунов показал, что если величины имеют конечные третьи моменты
пп
ск = М\^к-ак\3, Сп = X ск, 8^ = X О£к и соотношение Сп/В„ при п -» = стре- к = 1к = 1
мится к нулю, то имеет место сходимость функций распределения сумм 8п к нормальному распределению.
На следующий год Ляпунов же обнаружил, что для окончательного результата не обязательно требовать существования третьих моментов слагаемых. Достаточно, если существуют моменты некоторого порядка 2 + 6, где 6 > 0. Ляпунов показал, что для сходимости нормированных корнем из дисперсии сумм независимых слагаемых к нормальному распределению достаточно выполнения следующего условия: пусть ск = М I ^к - д^|2 + 5, Сп = X ск; отношение Сп/8„ +6 должно с ростом п стреми'к = 1
ться к 0.
Ляпунов сделал несколько большее: он оценил скорость сходимости к предельному распределению функций распределения сумм. Порядок этой оценки оказался равным и-1/2 Inn.
Точно также в упомянутой статье Чебышева, помимо предложения о сходимости к нормальному распределению, было дано асимптотическое разложение по степеням
Общность результатов Ляпунова произвела огромное впечатление на современников. По-видимому, именно в ту пору и появился термин "центральная предельная теорема” для обозначения условий сходимости функций распределения нормированных и центрированных математическими ожиданиями сумм к нормальному распределению. Марков подошел к результатам Ляпунова с далеко иных позиций. В связи с этим полезно привести подлинные слова Маркова: "Общность выводов в последней работе Ляпунова далеко превзошла ту, которая была достигнута методом математических ожиданий. Достигнуть столь общих выводов методом математических ожиданий казалось даже невозможным, ибо он основан на рассмотрении таких математических ожиданий в неограниченном числе, существование которых в случаях Ляпунова не предполагается.
Для восстановления поколебленного таким образом значения метода математических ожиданий необходимо было выяснить, что вышеупомянутыми работами он не исчерпан до конца”. Марков в 1908 г. выступил с замечательной идеей - урезания случайных величин. Этот прием дал возможность доказать предельную теорему в условиях Ляпунова методом моментов или, как говорил Марков, методом математических ожиданий. Идея урезания прочно вошла в жизнь теории вероятностей.
Дальнейшая судьба центральной предельной теоремы такова: в 1922 г. финскому математику Линдебергу удалось пойти дальше Ляпунова и отказаться от предположения существования даже каких-либо моментов, кроме вторых. А именно, он доказал, что если при любом т > 0 имеет место соотношение
и
lim — S /(x-<z^)2d/^(x) = О,
и-*" Вп к = 1 \х-ак\>тВп
то функция распределения сумм центрированных математическими ожиданиями и нормированных корнем квадратным из суммы дисперсий слагаемых сходятся к стандартному нормальному распределению.
Через 12 лет В. Феллер показал, что условие Линдеберга является и необходимым в предположении, что слагаемые равномерно малы.
Ясно, что из теоремы Линдеберга в качестве следствия получается давно ожидавшийся результат: если случайные величины независимы, одинаково распределены и имеют конечную дисперсию, отличную от 0, то к суммам таких величин применима центральная предельная теорема теории вероятностей.
В работе 1927 г. С.Н. Бернштейн рассмотрел несколько более общую задачу: имеется последовательность независимых случайных величин ^,52,..-,^,. . . , относительно которых не предполагается ни существования дисперсий, ни существования математических ожиданий. Спрашивается: когда можно подыскать такие
постоянные В„ > 0 и Ап, что функции распределения сумм сходятся к нор-
Вп
мальному распределению?
Достаточные условия для этой задачи были найдены Бернштейном в той же работе 1927 г.; через восемь лет Феллер показал, что эти условия не только достаточны, но и необходимы в предположении, что слагаемые равномерно малы в смысле теории вероятностей.
В том же 1935 г. независимо один от другого А.Я. Хинчин и П. Леви в постановке С.Н. Бернштейна нашли необходимое и достаточное условие сходимости к нормальному распределению функций распределения сумм независимых, одинаково распределенных случайных величин.
Еще в 1926 г. в специальном курсе по предельным теоремам А.Я. Хинчин задал следующий вопрос: имеется ли связь между законом больших чисел и центральной предельной теоремой? Ответ был найден Д.А. Райковым и А.А. Бобровым, которые доказали следующую теорему: чтобы функции распределения сумм
в»
при надлежащем выборе действительных постоянных Вп > 0 и Ап сходились к нормальному распределению, необходимо и достаточно чтобы суммы
(£1 -"1)2+ (Ь -л2)2 + • • • + ten - anV
е
были относительно устойчивы, ап = / xdF^txX е > 0 - произвольно.
— е
Исследование вопросов сходимости функций распределения к нормальному закону не окончились и в наши дни, но теперь исследуются другие вопросы: быстрота сходимости к предельному распределению, сходимость случайного числа случайных слагаемых, суммирование неравномерно малых случайных величин.
§ 17. Общие предельные распределения для сумм
Естественный вопрос о том, какие распределения вообще возможны в качестве предельных для сумм независимых случайных величин при условии, что они примерно одинаковы по величине, возник только в двадцатые-тридцатые годы нашего столетия. Раньше во всей общности этот вопрос не возникал, хотя частные результаты по этому поводу и появлялись. В этом отношении заслуживает упоминания мемуар С. Пуассона ”0 вероятности средних результатов наблюдений", в котором, пользуясь аппаратом характеристических функций, он вывел распределение суммы большого числа независимых ошибок наблюдений и рассмотрел распределение, которое получило впоследствии название распределения Коши. Для этого распределения Пуассон нашел плотность
1
я(1 + х2)
и доказал, что оно обладает двумя следующими свойствами:
среднее арифметическое ошибок наблюдений, распределенных по закону Коши, имеет то же распределение, что и каждое слагаемое;
для этого распределения точность не повышается от того, что берется среднее арифметическое результатов нескольких наблюдений.
Этот мемуар был опубликован в 1832 г.
На тридцать лет позднее, в 1853 г. в мемуаре ”0 средних результатах наблюдений той же природы и о результатах наиболее вероятных” О. Коши получил характеристическую функцию для всех тех распределений, для которых функция распределения суммы только на множитель при аргументе (коэффициент растяжения) отличается от распределения отдельных слагаемых. Коши нашел, что все такие функции имеют вид Дх) = ехр(- Г**), где ц - положительное число. Позднее выяснилось, что /(г) тогда и только тогда является характеристической функцией, когда 0 < д < 2.
П. Леви в книге "Calcul des probabilite” (1925) в главе VI ’’Экспоненциальные распределения” построил первую теорию устойчивых распределений. Эта теория, естественно продолжала исследования О. Коши, уйдя от них далеко вперед. Пусть Fix) - функция распределения и fit) - ее характеристическая функция. Распределение Fix) называется устойчивым, если при любых положительных постоянных а, и а, найдется такое положительное постоянное а, что выполняется равенство
№г t) -fla^t) = flat).
В терминах случайных величин рассмотренный класс распределений обладает следующим характеристическим свойством: если £, и $2 - независимые случайные величины с одним и тем же распределением вероятностей, а, и а2 — произвольные положительные числа, то для каждой пары а, и аг найдется такое положительное число а, что сумма а, 6, + а2 ?2 имеет такое же распределение как а^,.
П. Леви указал, что для устойчивых распределений функция fit) имеет вид t
ехр[- с(1 + ip) IГ |а], где 0 < а < 2. П. Леви также ввел понятие области притя-
жения устойчивого закона: множество всех тех распределений Fix), для которых функции распределения независимых и распределенных по этому закону случайных величин при соответствующем нормировании сходятся к данному устойчивому распределению.
В 1935 г. А.Я. Хинчин пополнил понятие устойчивого распределения, введенного П. Леви, а именно: он предложил называть у стойчивым и те распределения, для которых линейная форма ax£v ta^, при произвольных положительных постоянных а, и а2 имеет такое же распределение, как ai^ + 6, где а - некоторое положительное, а b - вещественное постоянное. Класс устойчивых в смысле Хинчина распределений оказался несколько шире класса П. Леви.
В 1939 г. независимо друг от друга Б.В. Гнеденко и В. Деблин нашли области притяжения устойчивых распределений. Условия принадлежности области притяжения устойчивого закона очень просты и сводятся к поведению "хвостов” распределений - поведению исходного распределения при больших значениях аргумента.
Основной результат, принадлежащий П. Леви и А.Я. Хинчину, можно сформулировать так: если £,, Е2, . . . - последовательность одинаково распределенных независимых случайных величин, то суммы
при надлежащем выборе постоянных 8„ > 0 и вещественных Ап могут сходиться только к устойчивым законам распределения. Каждый устойчивый закон является предельным для функций распределения сумм (1).
В заметке 1936 г. П. Леви и А.Я. Хинчин дали окончательное представление устойчивых распределений через логарифмы характеристической функции. Чтобы функция pit) была характеристической функцией устойчивого распределения, необходимо и дотаточно следующее ее представление:
In pit) = ht - с 1t |“ 1 + ipwit, a) L
I 111 J
где a, g, у, с - вещественные постоянные (—1<1?<1,с>0, 0<а<2)и
ш(Т, а) =ш(Т, а) =яtg - а,22 ,- In IГ I, яяtg - а,22 ,- In IГ I, яесли а 1,если а = 1.если а 1,если а = 1.
ш(Т, а) =
ш(Т, а) =
я
tg - а,
2
2 ,
- In IГ I, я
я
tg - а,
2
2 ,
- In IГ I, я
если а 1,
если а = 1.
если а 1,
если а = 1.
Этот результат полностью завершил исследования, которые были начаты Пуассоном и Коши.
Естественный вопрос о классе предельных распределений для сумм (1), когда слагаемые могут быть распределены не одинаково, был поставлен А.Я. Хинчиным в письме к П. Леви. Вскоре ответ был найден П. Леви. По предложению А.Я. Хинчина этот класс распределений получил наименование класса L. На слагаемые суммы ^!Вп при этом естественно наложить требование: каждое из слагаемых оказывает на сумму незначительное влияние. Это требование можно представить так: величины %к1Вп предельно постоянны, т.е. для них можно найти такую последовательность постоянных тпк, что равномерно относительно к (1 < к < и) для любого е > 0 выполняется соотношение
е О при пе О при п
е О при п
е О при п
Характеристическое свойство законов класса L, найденное П. Леви, состоит в следующем: чтобы функция у>(Г) была характеристической функцией закона класса L, необходимо и достаточно выполнение следующего условия: при каждом а (0 < а < 1) имеет место равенство у>(Г) =у>(а?)/а(Т), где /а(Г) - некоторая характеристическая функция.
На этом история вопроса не завершилась, поскольку для полного завершения проблематики оставалось ответить еще на один вопрос, поставленный Б.В. Гнеденко. Каковы классы возможных предельных распределений, если случайные величины ti, ^а, • • • Лп, ■ ■ • могут быть распределены только по к (1 < к < ~) различным законам распределения Fx (х), ^(х), ..., F^to 1 Полное решение этой задачи было дано в 1971 г. А.А. Зингером.
В рассмотренном круге вопросов была изучена еще одна задача: а что будет, если рассматривать суммы (1) одинаково распределенных независимых слагаемых не по всем значениям и, а только по некоторой подпоследовательности? Какие предельные распределения при этом могут встретиться? Этот вопрос был поставлен А.Я. Хинчиным; он же дал на него ответ: класс возможных предельных распределений в только что указанном смысле совпадает с классом безгранично делимых распределений, в 1930 г. введенным итальянским математиком Бруно де Финетги и подробно исследованным А.Н. Колмогоровым, П. Леви и А.Я. Хинчиным. Случайная величина называется безгранично делимой, если для любого целого числа п ее можно представить в виде суммы и независимых одинаково распределенных слагаемых. Отсюда и название этих величин.
В 1933 г. А.Н. Колмогоров высказал гипотезу, что если суммируются примерно равноправные независимые случайные величины, то при увеличении числа слагаемых из распределения будут приближаться к безгранично делимым законам и, следовательно, если распределения последовательных сумм будут сходиться к предельному,то этот предельный закон обязательно должен быть безгранично делимым. В предположении, что слагаемые имеют конечные дисперсии, а дисперсии последовательных сумм ограничены эту гипотезу доказал ученик А.Н. Колмогорова Г.М. Бавли (1908-1941) в 1934 г. В полном объеме эта гипотеза была доказана А.Я. Хинчиным с привлечением
довольно громоздких аналитических средств через три года. Отправляясь от этой работы, Б.В. Гнеденко построил теорию суммирования независимых случайных величин, основанную на сравнительно легко доказываемом факте: если суммируются предельно постоянные независимые слагаемые и функции распределения соответствующих центрированных сумм сходятся к некоторому предельному, то можно построить последовательность безгранично делимых случайных величин, функции распределения которых сближаются с функциями распределения сумм. Эти безгранично делимые величины получили название сопровождающих. Из этого предложения в качестве частных случаев получались теоремы Бавли и Хинчина. Кроме того, этот подход давал возможность совершенно прозрачно найти условия существования предельных распределений и условия сходимости функций распределения сумм к любому возможному предельному распределению. В частности, были найдены необходимые и достаточные условия для закона больших чисел, для сходимости к нормальному распределению, распределению Пуассона, устойчивым распределениям. Весь круг этих вопросов нашел отражение в монографии Б.В. Гнеденко и А.Н. Колмогорова ’’Предельные распределения для сумм независимых случайных величин” (1949).
В последние годы большое число исследователей приступило к изучению предельного поведения сумм независимых случайных слагаемых в случайном числе. Первоначально усилия были сосредоточены только на условиях сходимости к нормальному распределению и выполнимости закона больших чисел. Позднее были поставлены вопросы о классе предельных распределений и об условиях существования предельного распределения. Эту задачу удалось решить в условиях одинаковой распределенности и независимости слагаемых, а также независимости индекса суммирования от слагаемых. Заметим также, что к самой постановке этих задач привели вопросы теории надежности и физики. Основная теорема, относящаяся к названной проблематике, получила наименование теоремы переноса.
§18. Закон повторного логарифма
От закона больших чисел взяла начало новая предельная закономерность, получившая наименование закона повторного логарифма. Эта теорема не ставит перед собой цели разыскания предельного распределения, но зато переводит задачу рассмотрения последовательных сумм совсем в новую область, а именно изучает поведение этих сумм всех вместе. Мы вначале рассмотрим эту задачу для простейшего случая — для схемы Бернулли. Это вполне естественно; тем более, что это соответствует историческому ходу исследований.
Обозначим через цп число появлений события А в п независимых испытаниях и рассмотрим разности Sn = цп - пр. В 1909 г. Э. Борель дал обобщенную формулировку закона больших чисел, показав, что имеет более сильное утверждение, а именно
Р {S„/n - 0} = 1.
Через четыре года Ф. Хаусдорф (1868 — 1942) доказал, что имеет место еще более сильное утверждение, а именно, что при любом е >0
PUnlJn^ - 0} = 1.
Год спустя, Г. Харди (1877 - 1947) и Дж. Литвуд (1885 - 1977) обнаружили еще более сильное предложение, согласно которому с вероятностью единица отношение I Sn I/ Vй Inn остается ограниченным. В 1922 г. А.Я. Хинчин дал для роста суммSи оценку Sn = О Vx/n In In п). Через два года А.Я. Хинчин нашел окончательный результат.
Оказалось, что
Р < lim sup ——= 1 ■ - 1.
I и ” V Inpq In In n I
В 1926 г. А.Я. Хинчину удалось распространить этот результат на случай схемы Пуассона, т.е. на случай последовательных испытаний с переменной вероятностью появления события А.
Работа А.Н. Колмогорова 1929 г. значительно перекрывала результаты А.Я. Хин- чина, которые являлись для нее простыми следствиями. Этими словами мы не хотим преуменьшить значения работ А.Я. Хинчина, поскольку открыть новую закономерность даже на простом случае заслуживает самой высокой оценки.
Пусть имеется последовательность (,, $ 2, . . , взаимно независимых случайных величин, имеющих математические ожидания ак = М^ и дисперсии Ьк = D(^;
пп
Вп =2 bk, Sn = 2 ^к - ак). Если последовательность ^к удовлетворяет
к =1к =1
/ / Вп \ еще двум условиям: при и -► ~ 1) Вп -► ”, 2) I £п I < тп = ol V I, то она
\ Inin Вп ' удовлетворяет закону повторного логарифма, т.е. для нее выполняется соотношение
lim sup —-■■ — = 11 = 1.
I и ~ V 2 8„ In In 8„)
Иными словами было высказано следующее утверждение: в высказанных предположениях при любых положительных е и 6 можно указать столь большое целое число N, что
вероятность того, что хотя бы при одном п > Д'выполнится неравенство
I5„ I > (1+6) xj 1 Вп In In 8„ меньше е и
вероятность того, что хотя бы для одного п > N будет выполнено неравенство
15„1 > (1-6) V 2 8„ In InВп больше 1 - е .
Позднее задачей повторного логарифма занимались многочисленные исследователи - П. Леви, В. Феллер, Зигмунд и Марцинкевич, Хартман, Т.А. Сарымсаков, В.В. Петров, Б.В. Гнеденко и др. Среди многих прекрасных результатов мы выделим лишь один: если случайные величины ^ к одинаково распределены и имеют конечную дисперсию (конечно, отличную от нуля), то это условие достаточно для выполнения закона повторного логарифма. Как показал А.И. Мартикайнен, этот результат допускает обращение )
Аналогичная задача была поставлена для устойчивых распределений, отличных от нормального. При этом выяснилось (Б.В. Гнеденко), что для любой неубывающей функции и (и) и для любого устойчивого законас показателем а (0 < а < 2)
15„1
с вероятностью единица отношение lim sup равно 0 или бесконечности.
п оо и (и)
Формирование понятий математического ожидания и дисперсии
Понятие математического ожидания в самых начальных его элементах было введено в теорию вероятностей очень рано: впервые оно появилось в известной переписке Паскаля с Ферма. В более явной форме оно было введено Гюйгенсом. Именно, первые три предложения являются ничем иным как определением математического ожидания для случайных величин, способных принимать два или три значения. Как мы уже говорили в первой главе сам термин ожидание был предложен Схоутеном — учителем Гюйгенса. Этот термин прижился и сохранился до нашего времени. Но в ту пору этому термину придавался смысл ожидания той средней цены, которую можно дать за приобретение случайной величины, дающей выигрыш xv с вероятностью р,, выигрыш хг с вероятностью рг,. . . , выигрыш хп с вероятностью рп .
Эта мысль красной строкой проходит и в книге Н. Бернулли ”0 применении искусства предположений в вопросах права”. Он писал там, что ’"правило это (вычисления ожидания - Б.Г.) тождественно с тем, с помощью которого обыкновенно отыскиваются среднее арифметическое нескольких данных величин, а также и с тем правилом смешения, на которое счел уместным сослаться мой дядя”. Далее он рассмотрел пример, заимствованный из рукописи книги Я.Бернулли ’’Искусство предположений": ’’Если три кружки пива ценой по 13 смешиваются с 2 кружками ценой по 8, то после перемножения 3 на 13 и 2 на 8 получится общая цена всех кружек - 55, что дает путем деления на число всех кружек, т.е. 5, среднюю цену одной кружки смеси, равную 11. Такова же должна быть, согласно правилу, и оценка величины ожидания чего-либо, что будет иметь 3 случая по 13 и 2 случая по 8”. Заметим, что сказанное является ничем иным как повторением правил Гюйгенса. Заслуживает внимания не только то, что Н. Бернулли рассмотрел ожидание для случайных величин, принимающих не только два или три значения, но и большее число значений, но и нечто совсем новое, а именно сравнение формулы для вычисления математического ожидания с правилом вычисления координат центра тяжести системы материальных точек. Вот подлинные слова Н. Бернулли, из той же книги.
’’Еще более заслуживает быть отмеченным особое и исключительное совпадение, наблюдающееся между этим правилом и тем, которое рекомендуется для нахождения центра тяжести нескольких грузов; действительно, ведь сумма моментов, т.е. сумма произведений весов на соответствующие расстояния от какой-либо данной точки, деленная на сумму весов, показывает расстояние от центра тяжести, т.е. той точки, по отношению к которой подвешенные грузы находятся в равновесии, точно также и та средняя, которая получается согласно настоящему правилу, является, так сказать, центром тяжести всех вероятностей, который их так уравновешивает, что ни та, ни другая из них, отклоняясь в ту или другую сторону от средней, не перевешивают друг друга. В целях соблюдения такого же равновесия в сомнительных и темных делах наши юристы придерживаются обычно середины.”
Для XVIII зека обращение к математическому ожиданию было не характерным. Все внимание привлекало понятие вероятности случайного события. В энциклопедии науки о вероятностях - знаменитой книге П. Лапласа "Аналитическая теория вероятностей" - нет определения математического ожидания и тем более правил действий с ним. Возможно, это связано с тем, что Лаплас не рассматривал и понятия
случайной величины, вместо этого он изучал ошибки наблюдений, плотности их распределений и даже вывел и использовал формулу для плотности суммы двух независимых ошибок. Правда, при этом он не говорил о том, что рассматривались независимые, поскольку другие и не изучались.
Казалось бы создание и развитие теории ошибок наблюдений должно было стимулировать развитие числовых характеристик случайных величин (которые в ту пору еще назывались ошибками измерений). Однако этого не случилось. Впрочем, для нормального распределения были введены понятия истинного значения и точности наблюдений; было известно как их вычислять по плотности распределения. Таким образом для этого частного случая уже была известна формула для вычисления математического ожидания и дисперсии. ,
Обратим внимание на то, что в начале XIX века нормальное распределение затмило собой все остальные, поскольку с ним столкнулись в теории ошибок наблюдений и, казалось, доказали в работах Гаусса и Лежандра, что распределение ошибок наблюдений должно быть нормальным. С ним же столкнулись в теории стрельбы. Бельгийский биолог Кетле давал многочисленные свидетельства того, что и в биологии нормальное распределение играет центральную роль. Остальные распределения потеряли интерес, о них попросту не думали. Несомненно, в связи с этим никто и не помышлял о доказательстве теорем относительно математических ожиданий и дисперсий, поскольку для нормального распределения все уже было известно. В связи со сказанным интересно заметить, что в книге П.Л. Чебышева "Опыт элементарного анализа теории вероятностей" (М., 1845) понятия случайной величины, математического ожидания и дисперсии даже не упоминаются. Однако в курсе лекций по теории вероятностей, который систематически он читал в Петербургском университете, Че- шев говорит о величинах (имея в виду случайные величины), их математическом ожидании и дисперсии. Более того, в этих лекциях (записанных А.М. Ляпуновым, переписанных у него А.Н. Крыловым и изданных в 1936 г. в издательстве АН СССР) было сказано, что "оно (понятие математического ожидания) имеет большее значение на практике, чем сама вероятность, потому что на основании ее у нас составляется суждение о том, что мы можем ожидать перед появлением известного события” (с. 159). Само это утверждение не очень понятно, но, несомненно, Чебышев имел в виду какое-то определенное замечательное свойство математического ожидания. По-видимому , свою роль сыграла и формулировка закона больших чисел в форме Чебышева.
Заслуживает пристального внимания то обстоятельство, что в этих записках лекций имеется доказательство и формулировка теорем о математическом ожидании и дисперсии суммы случайных величин. Там же он привел и вывод своего знаменитого неравенства. При этом он предполагал как нечто самоочевидное, что речь идет о независимых величинах. Следует отметить, что сам факт о том, что дисперсия суммы равна сумме дисперсий, имеется и использован Чебышевым в статье ”0 средних величинах". Там жевпсрвые встречается и неравенство Чебышева. Следует отметить, что в распространенных учебниках (А. Пуанкаре и Ж. Бертрана) конца прошлого века и начала текущего столетия вообще нет теорем о математическом ожидании и дисперсии.
Естественно спросить себя: когда же стал известен факт, что математическое ожидание суммы равно сумме математических ожиданий всегда, а не только при независимых слагаемых? Пока на это можно лишь ответить, что в учебнике Чубера (1908) и переиздании книги А. Пуанкаре (1912) такой теоремы нет, а в знаменитом для своего времени учебнике ’’Исчисление вероятностей” (1913, 1924) строго доказываются и теорема о математическом ожидании произведения и о математическом ожидании суммы со специальным упоминанием о том, что она верна не только для независимых величин.
В заключение мы должны сказать, что история понятий математического ожидания и дисперсии изучена совершенно недостаточно. Мы видим, что основы понятия математического ожидания возникли одновременно с понятием вероятности, но выделены основные его свойства были очень поздно - только во второй половине прошлого - начале нашего столетия. Неясно, в какой мере на понятие дисперсии влияло уже существовавшее понятие момента инерции. Впрочем, заслуживает внимания и исследование истории становления и развития теории случайных величин. То, что изложено в настоящей главе может считаться лишь первым приближением к истории этого важного раздела научных знаний.
ГЛАВА 4
К ИСТОРИИ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Общие представления
Понятие случайного процесса принадлежит нашему столетию и связано с именами А.Н. Колмогорова, А.Я. Хинчина, Е.Е. Слуцкого, Н. Винера (1894-1965). Это понятие в наши дни является одним из центральных не только в теории вероятностей, но также в естествознании, инженерном деле, экономике, организации производства, теории связи. Теория случайных процессов принадлежит к категории наиболее быстро развивающихся математических дисциплин. Несомненно, что это обстоятельство в значительной мере определяется ее глубокими связями с практикой.
XX век не мог удовлетвориться тем идейным наследием, которое было получено им от прошлого. Действительно, в то время как физика, биолога, инженера интересовал процесс, т.е. изменение изучаемого явления во времени, теория вероятностей предлагала им в качестве математического аппарата лишь средства, изучавшие стационарные состояния. Для исследования изменения во времени теория вероятностей конца прошлого — начала нашего века не имела ни разработанных частных схем, ни тем более общих приемов. А необходимость их создания буквально стучала в окна и двери математической науки. Изучение броуновского движения в физике подвело математику к порогу создания теории случайных процессов. В исследованиях датского ученого А.К. Эрланга была начата новая важная область поисков, связанных с изучением загрузки телефонных сетей. Число абонентов изменяется во времени случайно, а длительность каждого разговора обладает большой индивидуальностью. И вот в этих- то условиях двойной случайности следует производить расчет пропускной способности телефонных сетей, коммутационной аппаратуры и управляющих связью систем. Несомненно, что работы Эрланга оказали значительное влияние не только на решение чисто телефонных задач, но и на формирование элементов теории случайных процессов, в частности, процессов гибели и размножения.
Во втором десятилетии XX века начались исследования динамики биологических популяций. Итальянский математик Вито Вольтерра разработал математическую теорию этого процесса на базе чисто детерминистских соображений. Позднее ряд биологов и математиков развивали его идеи уже на основе стохастических представлений. Первоначально и в этой теории применялись исключительно идеи процессов и гибели и размножения. Собственно именно от задач биологии и пошло наименование этого очень частного типа случайных процессов.
Представим себе, что мы задались целью проследить за движением какой-нибудь молекулы газа или жидкости. Эта молекула в случайные моменты сталкивается с другими молекулами и меняет при этом направление движения и скорость. Состояние молекулы, таким образом, подвержено случайным изменениям и представляет собой ничто иное, как случайный процесс. Это процесс определяется шестью параметрами - тремя координатами и тремя компонентами скорости. Многие физические явления для своего изучения требуют умения вычислять вероятности того, что определенная доля молекул успеет за заданный промежуток времени перейти из одной области пространства в другую. Например, если приведены в соприкосновение две жидкости, то начинается взаимное проникновение молекул одной жидкости в другую. Происходит диффузия. Как быстро происходит процесс диффузии, по каким Законам и когда образующаяся смесь становится практически однородной? На эти и многие другие вопросы дает ответ статистическая теория диффузии, базирующаяся на использовании теории случайных процессов. Очевидно, что подобные же задачи возникают в химии, когда приступают к изучению процессов химических реакций. Какая часть молекул уже вступила в реакцию, какая особенность протекания реакции со временем, когда реакция практически уже закончилась?
Весьма важный круг явлений протекает по принципу радиоактивного распада. Суть его состоит в том, что атомы радиоактивного вещества распадаются, превращаясь в атомы другого элемента. Распад каждого атома происходит мгновенно, подобно взрыву, с выделением некоторого количества энергии. Многочисленные наблюдения показывают, что распад отдельных атомов происходит в случайно взятые моменты времени и расположение этих моментов, если количество распадающегося вещества не превосходит некоторого определенного критического предела, не зависят друг от друга. Для изучения процесса радиоактивного распада весьма важно определить вероятность того, что за определенный промежуток времени распадается то или иное число атомов. Формально, если задаться целью выяснения только математической стороны явления, аналогично происходят многие другие процессы: обрывы нитей в прядильной машине, число броуновских частиц, оказавшихся в данный момент в определенной области пространства, вызовы от абонентов, поступающие на телефонную станцию и т.д.
Теория броуновского движения, исходящая из теоретико-вероятностных предпосылок, была разработана в 1905 г. двумя известными физиками М. Смолухов- ским (18 72-1917) и А. Эйнштейном (18 79-195 5). Позднее высказанные ими идеи использовались неоднократно как при изучении физических явлений, так и в различных инженерных задачах. В частности, именно с их работ, как, впрочем, и с работ Эрланга, начался широкий интерес к процессу Пуассона. Впрочем, сам Пуассон ввел в рассмотрение только распределение Пуассона и о процессе Пуассона даже не мечтал, но он заслужил того, чтобы его имя произносилось и при рассмотрении случайных процессов, связанных с его распределением. Это не единственный случай, когда в честь того или другого исследователя новым понятиям присваиваются их имена, хотя до этих понятий они и не доходили. Теперь широко распространены гауссовские случайные процессы, хотя сам Гаусс о них не имел никакого представления, да и само исходное распределение задолго до его рождения было получено Муавром, Лапласом и др. В теории же ошибок измерений одновременно с Гауссом к нему пришел также Лежандр.
Попытка изучения средствами теории вероятностей явления диффузии была предпринята в 1914 г. двумя известными физиками - М. Планком (1858-1947) и Фоккером.
Н. Винер в середине двадцатых годов при изучении броуновского движения ввел в рассмотрение процессы, удовлетворяющие следующим условиям:
функция распределения разности £(г0 + г) - $(Г0) не зависит от начального момента t0 (однородность во времени);
приращения процесса ((f) за непересекающиеся промежутки времени (s,, t^ в конечном числе взаимно независимы (независимость приращений);
величины £(г0 + Г) - £(t0) нормально распределены со средним значением равным 0 и дисперсией a21.
Мы должны упомянуть еще о двух важных группах исследований, начатых в разное время и по разным поводам. Во-первых, это работы А.А. Маркова (1856-1922) по изучению цепных зависимостей. Во-вторых, работах Е.Е. Слуцкого (1880-1948) по теории случайных функций. Оба эти направления играли очень существенную роль в формировании общей теории случайных процессов. Для этой цели уже был накоплен значительный ' исходный материал и необходимость построения теории как бы носилась в воздухе. Оставалось осуществить глубокий анализ имеющихся работ, высказанных в них идей и результатов и на его базе осуществить необходимый синтез.
В 1931 г. была опубликована большая статья А.Н. Колмогорова "Об аналитических методах в теории вероятностей”, а через три года работа А.Я. Хинчина ’’Теория корреляции стационарных стохастических процессов”, которые следует считать началом построения общей теории случайных процессов. В первой из этих работ были заложены основы теории марковских процессов, а во второй — основы стационарных процессов. Они были источником огромного числа последующих исследований, среди которых следует отметить статью В. Феллера "К теории стохастических процессов” (1936), давшую интегро-дифференциальные уравнения для скачкообразных марковских процессов.
Обе только что упомянутые основополагающие работы содержат не только математические результаты, но и глубокий философский анализ причин, послуживших исходным пунктом для построения основ теории случайных процессов. Приведем с целью ознакомления с этим аспектом исследований довольно большой отрывок из введения к работе А.Н. Колмогорова.
”Желая подвергнуть математической обработке явления природы или социальной жизни, необходимо предварительно эти явления схематизировать; дело в том, что к исследованию процесса изменения некоторой системы математический анализ применим лишь в том случае, если предположить, что каждое возможное состояние этой системы может быть вполне определено с помощью известного математического аппарата, например, при помощи значений, принимаемых известным числом параметров; такая математически определимая система есть не сама действительность, но лишь схема, пригодная для описания действительности.
Классическая механика пользуется лишь такими схемами, при которых состояние у системы для момента времени t однозначным образом определяется ее состоянием х в любой предшествующий момент t0; математически это выражается формулой у = f(x,t0,t).
Если такая однозначная функция существует, как это всегда предполагается в классической механике, то мы говорим, что наша схема есть схема вполне детерминированного процесса. К числу вполне детерминированных процессов можно было отнести и те, в которых состояние у не вполне определяется заданием состояния х для единственного момента времени t, существенным образом зависит еще от характера изменения этого состояния перед моментом t. Однако обычно предпочитают избегать такой зависимости от предшествующего поведения системы, для чего расширяют само понятие состояния системы в момент времени t и соответственно этому вводят новые параметры ).
Вне области классической механики, наряду со схемами вполне детерминированных процессов, часто рассматриваются и такие схемы, где состояние х системы в некоторый момент времени /0 обуславливает лишь известную вероятность для наступления возможного состояния у в некоторый последующий момент Г > Го. Если для любых заданных t„, t > г0 и х существует определенная функция распределения вероятностей для состояния у, мы говорим, что наша схема есть схема стохастически определенного процесса. В общем случае эта функция распределения представляется в виде Р(Г0, х, I, Л), причем А обозначает некоторое множество состояний, а Р есть вероятность того, что в момент t окажется реализованным одно из состояний Л, принадлежащих этому множеству”.
Но не общефилософское содержание является основным достоинством этой работы А.Н. Колмогорова. В ней были заложены основы теории случайных процессов без последействия и получены дифференциальные уравнения (прямые и обратные), которые управляют вероятностями перехода. В этой же работе был дан набросок теории скачкообразных процессов без последействия, подробное развитие которой позднее было дано В. Феллером и В.М. Дубровским.
В настоящее время теория марковских процессов превратилась в большую и разветвленную главу математической науки, которая получила огромное число различных применений в физике, инженерном деле, геофизике, химии и ряде других областей знания.
Построение основ другого класса случайных процессов на базе физических задач было осуществлено А.Я. Хинчиным в упомянутой нами работе. Он ввел понятие стационарного процесса в широком и узком смысле и получил знаменитую формулу для коэффициента автокорреляций. Эта работа послужила основанием для последующих исследований Г. Крамера, Г. Вальда, А.Н. Колмогорова и многих других ученых.
В процессе развития теории случайных процессов произошло разделение близких понятий. Если случайная величина ((f) или вектор (^(О, • • • , £и(0) со значениями на числовой прямой зависит от одного вещественного параметра Г, то принято говорить о случайном процессе ^(1). При этом, как правило, параметр t носит название времени. Если время принимает дискретную последовательность значений г,, г2,... то говорят не о случайном процессе, а о случайной последовательности. Если же случайная величина £ (или вектор) зависит не от одного, а от нескольких параметров, то ее называют случайным полем.
Со случайными полями столкнулись раньше всего в биологии и геофизике, а затем оказалось, что практически все области знания приводят к необходимости рассмотрения наряду со случайными процессами и случайных полей. Рассмотрим примеры.
Обозначим через р(Г, х, у, z) плотность воды в океане. Эта величина изменяется от одной точки к другой и от одного момента времени к другому. Как показывают многочисленные наблюдения, р можно рассматривать как случайное поле.
Рассмотрим изменение силы и направления ветра. Для каждого момента времени и каждой точки пространства сила ветра f (t, х, у, z) является скалярной величиной, а направление ветра £(t, х, у, z) , п (t, х,у, z), f (t, х,у, z) - случайным вектором. Это типичный пример скалярного и векторного полей.
Число примеров случайных полей, относящихся к различным областям знания, можно продолжать практически неограниченно.
В истории каждой науки постоянно приходится сталкиваться с такими ситуациями, когда эта наука еще не создана, а исследователи рассматривают отдельные задачи, которые относятся к ее компетенции. Так было с арифметикой и геометрией, алгеброй и теорией чисел. С таким же положением мы сталкиваемся и в теории случайных процессов. Этой теории еще не было, не было и свойственных ей понятий, не было даже идеи рассмотрения изменения случайной величины во времени, а отдельные задачи в этом направлении уже изучались. Для примера еще Н. Бернулли, Монмор и
Муавр занимались задачей о разорении игрока и состоянии игроков после п партий. Это типичная задача теории случайных процессов, в которой число сыгранных партий играет роль времени. Такая же ситуация складывается и с задачей Лапласа перекладывания шаров из уриы в урну и подсчета содержания урны после п перекладываний. Всегда новое рождается в недрах старого и со временем вырастает из становящихся тесными рамок уже установившихся представлений и понятий. В результате появляется необходимость выделения специальной области научных исследований. Первоначально же отдельные новые задачи решаются в рамках старых представлений, как правило специальными приемами, создаваемыми для каждой задачи. Но время еще не созрело для выделения соответствующей новой ветви научного знания. Требуется иногда длительный срок, чтобы первоначальные идеи и отдельные задачи сформировались и дали начало новой теории со своими постановками проблем и методами исследования, позволяющими продвинуться по пути познания явлений окружающего нас мира.
Теория вероятностей имеет богатую и поучительную историю. Она наглядно показывает как возникали ее основные понятия и развивались методы из задач, с которыми сталкивался общественный прогресс. История теории вероятностей еще далека от совершенства и требуется систематическая работа для того, чтобы восстановить пройденный путь и воздать должное ее создателям. При этом мы увидим как человечество переходило от первичных догадок к более полному и совершенному знанию, как создание теории вероятностей позволяло переходить от строгих детерминистических представлений к более широким стохастическим концепциям, тем самым открывая новые возможности для глубоких заключений о природе вещей.
Теория вероятностей продолжает бурно развиваться, в ней появляются новые направления исследований - оптимальное управление случайными процессами, теория мартингалов, теория просачивания, случайные операторы, вероятностные закономерности на алгебраических и топологических структурах. Эти направления представляют значительный общетеоретический и прикладной интерес. Практически исторический очерк ограничивается во времени сороковыми годами нашего столетия и только отдельные замечания относятся к более позднему времени. Я надеюсь на то, что вопросы истории теории вероятностей заинтересуют некоторых читателей и им удастся существенно дополнить настоящий очерк в ряде направлений.
- 1 Таблица значений функции iptx') =:— е
X
0
1
2
3
4
5
6
7
8
9,
0,0
0,3989
3989
3989
3988
3986
3984
3982
3980
3977
3973
0,1
3970
3965
3961
3956
3951
3945
3939
3932
3925
3918
0,2
3910
3902
3894
3885
3876
3867
3857
3847
3836
3825
0,3
3814
3802
3790
3778
3765
3752
3739
3726
3712
3697
0,4
3683
3668
3653
3637
3621
3605
3589
3572
3555
3538
0,5
3521
3503
3485
3467
3448
3429
3410
3391
3372
3352
0,6
3332
3312
3292
3271
3251
3230
3209
3187
3166
3144
0,7
3123
3101
3079
3056
3034
ЗОИ
2989
2966
2943
2920
0,8
2897
2874
2850
2827
2803
2780
2756
2732
2709
2685
0,9
2661
2637
2613
2589
2565
2541
2516
2492
2468
2444
1,0
0,2420
2396
2371
2347
2323
2299
2275
2251
2227
2203
1,1
2179
2155
2131
2107
2083
2059
2036
2012
1989
1965
1,2
1942
1919
1895
1872
1849
1826
1804
1781
1758
1736
1,3
1714
1691
1669
1647
1626
1604
1582
1561
1539
1518
1,4
1497
1476
1456
1435
1415
1394
1374
1354
1334
1315
1,5
1295
1276
1257
1238
1219
1200
1182
1163
1145
1127
1,6
1109
1092
1074
1057
1040
1023
1006
0989
0973
0957
1,7
0940
0925
0909
0893
0878
0863
0848
0833
0818
0804
1,8
0790
0775
0761
0748
0734
0721
0707
0694
0681
0669
1,9
0656
0644
0632
0620
0608
0596
0584
0573
0562
0551
2,0
0,0540
0529
0519
0508
0498
0488
0478
0468
0459
0449
2,1
0440
0431
0422
0413
0404
0396
0387
0379
0371
0363
2,2
0355
0347
0339
0332
0325
0317
0310
0303
0297
0290
2,3
0283
0277
0270
0264
0258
0252
0246
0241
0235
0229
2,4
0224
0219
0213
0208
0203
0198
0194
0189
0184
0180
2,5
0175
0171
0167
0163
0158
0154
0151
0147
0143
0139
2,6
0136
0132
0129
0126
0122
0119
0116
0113
ОНО
0107
2,7
0104
0101
0099
0096
0093
0091
0088
0086
0084
0081
2,8
0079
0077
0075
0073
0071
0069
0067
0065
0063
0061
2.9
0060
0058
0056
0055
0053
0051
0050
0048
0047
0046
(Окончание)
X
0
1
2
3
4
5
6
7
8
9
3,0
0,0044
0043
0042
0040
0039
0038
0037
0036
0035
0034
3,1
0033
0032
0031
0030
0029
0028
0027
0026
0025
0025
3,2
0024
0023
0022
0022
0021
0020
0020
0019
0018
0018
3,3
0017
0017
0016
0016
0015
0015
0014
0014
0013
0013
3,4
0012
0012
0012
ООН
ООП
0010
0010
0010
0009
0009
3,5
0009
0008
0008
0008
0008
0007
0007
0007
0007
0006
3,6
0006
0006
0006
0005
0005
0005
0005
0005
0005
0004
3,7
0004
0004
0004
0004
0004
0004
0003
0003
0003
0003
3,8
0003
0003
0003
0003
0003
0002
0002
0002
0002
0002
3,9
0002 0002
0002
0002
0002
0002
0002
0002
0001
0001
Таблица значений функции Ф (х) -
1 f
?
2 е
dz
J
/ 2л о
X
О
1
2
3
4
5
6
1 7
8
9
0,0
0,0000
0040
0080
0120
0159
0199
0239
0279
0319
0359
0,1
0398
0438
0478
0517
0557
0596
0636
0675
0714
0753
0,2
0793
0832
0871
0909
0948
0987
1026
1103
1064
1141
0,3
1179
1217
1255
1293
1331
1368
1406
1443
1480
1517
0,4
1554
1591
1628
1664
1700
1736
1772
1808
1844
1879
0,5
1915
1950
1985
2019
2054
2088
2123
2157
2190
2224
0,6
2257
2291
2324
2356
2389
2421
2454
2486
2517
2549
0,7
2580
2611
2642
2673
2703
2734
2764
2793
2823
2852
0,8
2881
2910
2939
2967
2995
3023
3051
3078
3106
3133
0,9
3159
3186
3212
3238
3264
3289
3315
3340
3365
3389
1,0
3413
3437
3461
3485
3508
3531
3554
3577
3599
3621
1,1
3643
3665
3686
3708
3728
3749
3770
3790
3810
3830
1,2
3849
3869
3888
3906
3925
3943
3962
3980
3997
4015
1,3
4032
4049
4066
4082
4099
4115
4131
4147
4162
4177
1,4
4192
4207
4222
4236
4251
4265
4279
4292
4306
4319
1,5
4332
4345
4357
4370
4382
4394
4406
4418
4429
4441
1,6
4452
4463
4474
4484
4495
4505
4515
4525
4535
4545
(Окончание)
X
0
1
2
3
4
5
6
7
8
9
1,7
4554
4564
4573
4582
4591
4599
4608
4616
4625
4633
1,8
4641
4648
4656
4664
4671
4678
4686
4692
4699
4706
1,9
4713
4719
4726
4732
4738
4744
4750
4756
4761
4767
2,0
4772
4778
4783
4788
4793
4798
4803
4808
4812
4817
2,1
4821
4826
4830
4834
4838
4842
4846
4850
4854
4857
2,2 ‘
4861
4864
4868
4871
4874
4878
4881
4884
4887
4890
2,3
4893
4896
4898
4901
4904
4906
4909
4911
4913
4916
2,4
4918
4920
4922
4924
4927
4929
4930
4932
4934
4936
2,5
4938
4940
4941
4943
4945
4946
4948
4949
4951
4952
2,6
4953
4955
4956
4957
4958
4960
4961
4962
4963
4964
2,7
4965
4966
4967
4968
4969
4970
4971
4972
4973
4974
2,8
4974
4975
4976
4977
4977
4978
4979
4979
4980
4981
2,9
4981
4982
4982
4983
4984
4984
4985
4985
4986
4986
3,0
0,4986
3,1
4990
3,2
49931
3,3
49952
3,4
49966
3,5
4,0
4,5
5,0
4998
499968
499997
49999997
3,6
4998
3,7
49989
3,8
49993
3,9
49995
gkg —а
Таблица значений функции PkW = Jt!
а
0,1
0,2
0,3
0,4
0,5
0,6
0
0,904837
0,818731
0,740818
0,670320
0,606531
0,548812
1
0,090484
0,163746
0,222245
0,268128
0,303265
0,329287
2
0,0045 24
0,016375
0,033337
0,05 36 26
0,075816
0,098786
3
0,000151
0,001091
0,003334
0,007150
0,012636
0,019757
4
0,000004
0,000055
0,000250
0,000715
0,001580
0,002964
5
0,000002
0,000015
0,000057
0,000158
0,000356
6
0,000001
0,000004
0,000013
0,000035
7
0,000001
0,000003
(Продолжение)
а
0,7
0,8
0,9
1,0
1
|2,0
3,0
0
0,496585
0,449329
0,406570
0,367879
1
0,135335
0,049787
1
0,347610
0,359463
0,365913
0,367879
0,270671
0,149361
2
0,121663
0,143785
0,164661
0,183940
0,270671
0,224042
3
0,028388
0,038343
0,049398
0,061313
0,180447
0,224042
4
0,004968
0,007669
0,011115
0,015328
0,090224
0,168031
5
0,000695
0,001227
0,002001
0,003066
0,036089
0,100819
6
0,000081
0,000164
0,000300
0,000511
0,012030
0,050409
7
0,000008
0,000019
0,000039
0,000073
0,003437
0,021604
8
0,000002
0,000004
0,000009
0,000859
0,008101
9
0,000001
0,000191
0,002701
10
0,000038
0,000810
11
0,000007
0,000221
12
0,000001
0,000055
13
0,000013
14
0,000003
15
0,000001
а
4,0
5,0
6,0
7,0
8,0
9,0
к
0
0,018316
0,006738
0,002479
0,000912
0,000335
0,000123
1
0,073263
0,033690
0,014873
0,006383
0,002684
0,001111
2
0,146525
0,084224
0,044618
0,022341
0,010735
0,004998
3
0,195 367
0,140374
0,089235
0,052129
0,028626
0,014994
4
0,195367
0,175467
0,133853
0,091226
0,057252
0,033737
5
0,156293
0,175467
0,160623
0,127717
0,091604
0,060727
6
0,104194
0,146223
0,160623
0,149003
0,122138
0,091090
7
0,059540
0,104445
0,137677
0,149003
0,139587
0,117116
8
0,029770
0,065278
0,103258
0,130377
0,139587
0,131756
9
0,013231
0,036266
0,068838
0,101405
0,124077
0,131756
10
0,005292
0,018133
0,041303
0,070983
0,099262
0,118580
11
0,001925
0,008242
0,022529
0,045171
0,072190
0,097020
12
0,000642
0,003434
0,011262
0,026350
0,048127
0,072765
13
0,000197
0,001321
0,005199
0,014188
0,029616
0,050376
14
0,000056
0,000472
0,002228
0,007094
0,016924
0,032384
15
0,000015
0,000157
0,000891
0,003311
0,009026
0,019431
16
0,000004
0,000049
0,000334
0,001448
0,004513
0,010930
^Окончание')
к
а
4,0
5,0
6,0
7,0
8,0
9,0
17
0,000001
0,000014
0,000118
0,000596
0,002124
0,005786
18
0,000004
0,000039
0,000232
0,000944
0,002893
19
0,000001
0,000012
0,000085
0,000397
0,001370
20
0,000004
0,000030
0,000159,
0,000617
21
0,000001
0,000010
0,000061
0,000264
22
0,000003
0,000022
0,000108
23
0,000001
0,000008
0,000042
24
0,000003
0,000016
25
0,000001
0,000006
26
0,000002
27
0,000001
к а е Таблица значений функции S т=0 т •
к \
а
0,1
0,2
0,3
0,4
0,5
■ 0,6
0
0,904837
0,818731
0,740818
0,670320
0,606531
0,548812
1
0,995321
0,982477
0,963063
0,9 3 844 8
0,909796
0,878099
2
0,999845
0,998852
0,996390
0,992074
0,985612
0,977885
3
0,999996
0,999943
0,999724
0,999224
0,998248
0,997642
4
1,000000
0,999998
0,999974
0,999939
0,999828
0,999606
5
1,000000
■ 1,000000
0,999999
0,999996
0,999986
0,999962
6
1,000000
1,000000
1,000000
1,000000
0,999999
0,999997
7
1,000000
1,000000
1,000000
1,000000
1,000000
1,000000
А;
0,7
0,8
0,9
1,0
2,0
3,0
0
0,4965 85
0,449329
0,406570
0,367879
0,135335
0,049787
1
0,844195
0,808792
0,772483
0,735759
0,406006
0,199148
2
0,965858
0,952577
0,937144
0,919699
0,676677
0,423190
(Окончание)
к \
а
0,7
0,8
0,9
1,0
2,0
3,0
3
0,994246
0,990920
0,988542
0,981012
0,857124
0,647232
4
0,999214
0,998589
0,997657
0,996340
0,947348
0,815263
5
0,999909
0,999816
0,99965 8
0,999406
0,983437
0,916082
6
0,999990
0,999980
0,999958
0,999917
0,995467
0,966491
7
0,999998
0,999999
0,999997
0,999990
0,998904
0,988095
8
1,000000
1,000000
1,000000
0,999999
0,999763
0,996196
9
1,000000
0,999954
0,998897
10
0,999992
0,999707
И
0,999999
0,999928
12
1,000000
0,999983
13
0,999996
14
0,999999
15
0,100000
СПИСОК ЛИТЕРАТУРЫ
Боровков А.А. Теория вероятностей. — 2-е изд. - М.: Наука, 1986.
Гихман И.И., Скороход А.В., Ядренко М.И. Теория вероятностей и математическая статистика. - Киев: Вища школа, 1979.
Гихман И.И., Скороход А.В. Введениев теорию случайных процессов. - М.: Наука, 1977.
Гнеденко Б.В., Колмогоров А.Н. Предельные распределения для сумм независимых случайных величин. - М.-Л.: Гостехиздат, 1949.
Вентцель А.Д. Курс теории случайных процессов. - М.: Наука, 1975.
Карлин С. Основы теории случайных процессов. - М.; Мир, 1975.
Кендалл М., Моран П. Геометрические вероятности. - М.: Наука, 1972.
Климов ГП. Теория вероятностей и математическая статистика. — М.: Изд-во МГУ, 1983.
Климов Г.П., Кузьмин А.Д. Вероятность, процессы, статистика: Задачи с решениями. - М.: Изд-во МГУ, 1985.
Коваленко И.Н., Кузнецов Н.Ю., Шуренков В.М. Случайные процессы; справочник. - Киев: Наукова думка, 1983.
Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая статистика. - М.: Высш, школа, 1973.
Королюк В.С. (редактор). Справочник по теории вероятностей и математической статистике.. - Киев: Наукова думка, 1978.
ЛоэвМ. Теория вероятностей. - М.: ИЛ, 1962.
Лукач Е. Характеристические функции. - М.: Наука, 1979.
Майстров Л.Е. Развитие понятия вероятности. - М.: Наука, 1980.
МешалкинЛ.Д. Сборник задач по теории вероятностей. - М.: Изд-во МГУ, 1963.
Неве Ж. Математические основы теории вероятностей. - М.: Мир, 1969.
Нейман Ю. Вводный курс теории вероятностей и математической статистики. - М.: Наука, 1969.
Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. - 2-е изд. - М.: Наука, 1985.
Розанов Ю.А. Случайные процессы. - М.: Наука, 1971.
Савельев Л.Я. Комбинаторика и вероятность. - Новосибирск: Наука, 1975.
Сантало Л. Интегральная геометрия и геометрические вероятности. - М.: Наука, 1983.
Севастьянов Б.А. Курс теории вероятностей и математической статистики. - М.: Наука, 1982.
Севастьянов Б.А., Чистяков В.П., Зубков А.М. - Сборник задач по теории вероятностей. - М.: Наука, 1982.
Стоянов Й. и др. Рьководство за упражнения по теория навероятностите. — София: Наука и изкуство, 1985.
Феллер В. Введение в теорию вероятностей и ее приложения. - М.: Мир, 1984.
Чжун Кай-Лай. Однородные цепи Маркова. - М.: Мир, 1964.
Ширяев А.Н. Вероятность. - М.: Наука, 1980.
Борис Владимирович Гнеденко
КУРС ТЕОРИИ ВЕРОЯТНОСТЕЙ
Редактор А.С. Чистопольский
Художественный редактор Т.Н.Колъченко
Технические редакторы С.Н. Баронина, О.Б. Черняк
Корректоры Н.П. Круглова, Т.В. Обод
Набор осуществлен в издательстве на наборно-печатающих автоматах
ИБ № 32527
Сдано в набор 25.08.87. Подписано к печати 16.12.87
Формат 60 х 88/16. Бумага книжно-журнальная Гарнитура Пресс-Роман. Печать офсетная
Усл.печ.л. 27,44. Усл.кр.-отт. 27,44. Уч.-изд.л. 27,28 Тираж 53 000 экз. Тип. зак. 152. Цена 1 р. 20 к.
Ордена Трудового Красного Знамени издательство ’’Наука”
Главная редакция физико-математической литературы 117071 Москва В-71, Ленинский проспект, 15
Типография им. Котлякова издательства ’’Финансы и статистика” Государственного комитета СССР по делам издательств, полиграфии и книжной торговли 195273 Ленинград, ул. Руставели 13
= е-4 = 0,00276.
11!39
1_
PkW =—е 2=к(\<к<п),
2. При любых вещественных t
I - 1 I = I / KcZx I < а(а > 0)
О
вытекает неравенство
•а •
I ею - 1 - ia I = I / (е'х - l)dx I < — . о2
Из последнего неравенства далее следует, что
irvЛО;;„a;vл X1а3
I е - 1 - lot + — i = I J (e - 1 - ix)dx | < f | e - 1 - ix | dx < J — dx = —,
ит.д.
*) Этот предел существует для почти всех значений х в смысле меры, определяемой функцией F(x).
*) Мы предполагаем при этом, что продукты распада атома сами уже не распадаются и во всяком случае не воздействуют на еще нераспавшиеся атомы.
***) Таким образом, процессы, управляемые нормальным законом, и только они, являются ’’равномерно непрерывными” в смысле теории вероятностей.