Тема 7.  Центральная предельная теорема, закон больших чисел

План:

                  1. Понятие центральной предельной теоремы (теорема Ляпунова)

                  2. Закон больших чисел, вероятность и частота (теоремы Чебышева и Бернулли)

1. Понятие центральной предельной теоремы.

Нормальное распределение вероятностей имеет в теории вероят­ностей большое значение. Нормальному закону подчиняется вероят­ность при стрельбе по цели, в измерениях и т. п. В частности, оказывается, что закон распределения суммы достаточно большого чис­ла независимых случайных величин с произвольными законами распределения близок к нормальному распределению. Этот факт, называемый центральной предельной теоремой или  теоремой Ляпунова[1].

Известно, что нормально распределенные случай­ные величины широко распространены на практике. Чем это объясняется? Ответ на этот вопрос был дан А. М. Ляпуновым

Централь­ная предельная теорема. Если случайная величина X пред­ставляет, собой сумму очень большого числа взаимно неза­висимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то X имеет распределение, близкое к нормальному распределению.

Пример. Пусть производится измерение некоторой физической величины. Любое измерение дает лишь приближенное значение изме­ряемой величины, так как на результат измерения влияют очень многие независимые случайные факторы (температура, колебания прибора, влажность и др.). Каждый из этих факторов порождает ничтожную "частную ошибку". Однако, поскольку число этих факторов очень велико, их совокупное действие порождает уже заметную «суммар­ную ошибку».

Рассматривая суммарную ошибку как сумму очень большого числа взаимно независимых частных ошибок, мы вправе заключить, что суммарная ошибка имеет распределение, близкое к нормальному распределению. Опыт подтверждает справедливость такого заключения.

Рассмотрим условия, при которых выполняется  "централь­ная предельная теорема"

Пусть:

Х₁, Х₂,  ...,Х_n – последовательность независимых случайных величин,

M(Х₁), M(Х₂), ...,M(Х_n)  - конечные математические ожидания этих величин, соответственно равные  М(X_k)= a_k

D(Х₁), D(Х₂), ..., D(Х_n)   - конечные дисперсии  их, соответственно равные  D(X _k)=b_k²

Введем обозначения: S= Х₁+Х₂ + ...+Х_n;     

A _k= Х₁+Х₂ + ...+Х_n=;              B²= D(Х₁)+ D(Х₂)+ ...+ D(Х_n) = 

Запишем  функцию распределения нормированной суммы:

F_n(x) =

Говорят, что к последовательности Х₁, Х₂,  ...,Х_n  применима централь­ная предельная теорема, если при любом x функция распределения нормированной суммы при n ® ¥ стремится к нормальной функции распределения:

=

Замечание. Полученная функция отличается от интегральной приближенной функции Лапласа только лишь  пределами интегрирования, где находятся  от 0 до x

В частности если все случайные величины Х₁, Х₂,  ...,Х_n   одинаково распределены  и  дисперсии всех этих величин  конечные и не равные нулю, то к этой последовательности применима централь­ная предельная теорема.

2. Закон больших чисел, вероятность и частота.

Как известно, нельзя заранее уверенно пред­видеть, какое из возможных значений примет случайная величина в итоге испытания; это зависит от многих слу­чайных причин, учесть которые невозможно. Казалось бы, поскольку о каждой случайной величине мы распо­лагаем в этом смысле весьма скромными сведениями, то вряд ли можно установить закономерности поведения и суммы достаточно большого числа случайных величин. На самом деле это не так. Оказывается, что при некото­рых сравнительно широких условиях суммарное поведе­ние достаточно большого числа случайных величин почти утрачивает случайный характер и становится законо­мерным.

Для практики очень важно знание условий, при вы­полнении которых совокупное действие очень многих слу­чайных причин приводит к результату, почти не завися­щему от случая, так как позволяет предвидеть ход явле­ний. Эти условия и указываются в теоремах, носящих общее название закона больших чисел. К ним относятся теоремы Чебышева и Бернулли (имеются и другие теоремы, которые здесь не рассматриваются).

Теорема Чебышева является наиболее общим законом больших чисел, теорема Бернулли- простейшим.

2.1.  Неравенство Чебышева

Неравенство Чебышева справедливо для дискрет­ных и непрерывных случайных величин. Для простоты ограничимся рассмотрением этого неравенства для диск­ретных величин.

Рассмотрим дискретную случайную величину X, задан­ную таблицей распределения:

Поставим перед собой задачу оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине поло­жительного числа ε

 Если ε достаточно мало, то мы оце­ним, таким образом, вероятность того, что X примет значения, достаточно близкие к своему математическому ожиданию. Чебышев П.Л. доказал неравенство, позволяю­щее дать интересующую нас оценку.

Лемма Чебышева. Дана случайная величина X, принимающая только неотрицательные значения с математическим ожиданием M(X). Для любого числа α>0 имеет место выражение:

Неравенство Чебышева. Вероятность того, что отклонение случайной величины X от ее математического ожидания по абсолютной величине меньше положитель­ного числа ε, не меньше, чем  1 – D(X) / ε ²:

Р ( | X-M (X) | <  ε ) ³  1 - D (Х) / ε ².

Замечание. Неравенство Чебышева имеет для практики огра­ниченное значение, поскольку часто дает грубую, а иногда и три­виальную (не представляющую интереса) оценку.

Теоретическое же значение неравенства Чебышева весьма велико. Ниже мы воспользуемся этим неравенством для вывода теоремы Чебышева.

2.2.  Теорема Чебышева

Если Х₁, Х₂,  ...,Х_n..- попарно независимые случайные величины, причем диспер­сии их равномерно ограничены (не превышают постоян­ного числа С), то, как бы мало ни было положительное число ε, вероятность неравенства

÷ (Х₁+Х₂ + ...+Х_n ) / n  -   (M(Х₁)+M(Х₂)+ ...+M(Х_n ))/n |  < ε

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами,  в условиях теоремы

P (÷ (Х₁+Х₂ + ...+Х_n ) / n  -   (M(Х₁)+M(Х₂)+ ...+M(Х_n ))/n |  < ε)=1.

Теорема Чебышева утверждает:

1. Рассматривается достаточно большое число незави­симых случайных величин, имеющих ограниченные ди­сперсии,

2. Почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их ма­тематических ожиданий будет по абсолютной величине сколь угодно малым.

Формулируя теорему Чебышева, мы предпола­гали, что случайные величины имеют различные матема­тические ожидания. На практике часто бывает, что слу­чайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что диспер­сии этих величин ограничены, то к ним будет применима теорема Чебышева.

Обозначим математическое ожидание каждой из слу­чайных величин через а;

В рассматриваемом случае среднее арифметическое математических ожиданий, как легко видеть, также равно а.

Можно сформулировать тео­рему Чебышева для рассматриваемого частного случая.

"Если Х₁, Х₂,  ...,Х_n..- попарно независимые случай­ные величины, имеющие одно и то же математическое ожидание а, и если дисперсии этих величин равномерно ограничены, то, как бы мало ни было число ε > О, ве­роятность неравенства

÷ (Х₁+Х₂ + ...+Х_n ) / n -   a |  < ε

будет  как угодно  близка к единице, если число случай­ных величин достаточно велико".

Другими словами,  в условиях теоремы

 P (÷ (Х₁+Х₂ + ...+Х_n ) / n - a | < ε) = 1.

2.3. Сущность теоремы Чебышева

Хотя от­дельные независимые случайные величины могут прини­мать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случай­ных величин с большой вероятностью принимает значе­ния, близкие к определенному постоянному числу, а именно к числу

(М (Xj) + М (Х₂) +... + М (Х„))/п  или к числу а в частном случае .

Иными словами, отдельные случайные величины могут иметь значительный разброс, а их среднее арифметическое рассеянно мало.

Таким образом, нельзя уверенно предсказать, какое возможное значение примет каждая из случайных вели­чин, но можно предвидеть, какое значение примет их среднее арифметическое.

Итак, среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых равномерно ограничены) утрачивает характер случайной, величины.

Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются.

Теорема Чебышева справедлива не только для дискрет­ных, но и для непрерывных случайных величин; она является примером, подтверждающим справедли­вость учения о связи между случайностью и  необходимостью.