Центральная предельная теорема

ПредупреждениеЧерновик

Этот конспект ещё находится в процессе редактуры: в тексте могут встречаться опечатки, неточности и локально не проработанные места. Если что-то нашли — сообщите, пожалуйста, автору (контакты на странице курса).

Закон больших чисел говорит, что \(\frac{S_n}{n} - a \to 0\); центральная предельная теорема отвечает на следующий вопрос: как именно флуктуирует эта малая ошибка. Ответ феноменален своей универсальностью: в масштабе \(\frac{1}{\sqrt{n}}\) ошибка распределена нормально — почти независимо от того, каким было распределение слагаемых. Бросаете ли вы монетку, суммируете ли округления, складываете ли ошибки измерений — предел один. Это и есть причина вездесущности гауссовской кривой: рост человека (сумма множества мелких факторов), шум в канале связи, погрешности приборов. На ЦПТ стоят доверительные интервалы всех опросов («\(\pm 3\%\)»), контроль качества и весь курс статистики. Инструмент доказательства у нас уже готов — характеристические функции; недостающее звено — теорема о непрерывности.

1 Теорема непрерывности и доказательство ЦПТ

Теорема 1 (Леви о непрерывности) \(\xi_n \xrightarrow {d} \xi\) тогда и только тогда, когда \(\varphi_{\xi_n}(t) \to \varphi_\xi (t)\) для каждого \(t \in \mathbb {R}\). Более того, если \(\varphi_{\xi_n}(t) \to \varphi (t)\) поточечно и предельная функция \(\varphi\) непрерывна в нуле, то \(\varphi\) — характеристическая функция некоторой величины \(\xi\) и \(\xi_n \xrightarrow {d} \xi\).

Вторая часть — сильнее и практичнее: непрерывность предела в нуле автоматически даёт плотность семейства (масса не убегает — здесь работает теорема Прохорова из темы 7). Теперь — главная теорема курса.

Теорема 2 (ЦПТ, Леви) Пусть \(\xi_1, \xi_2, \ldots\) независимы, одинаково распределены, \(\mathbb {E}\left[\xi_1\right] = a\), \(\operatorname {Var}\left[\xi_1\right] = \sigma^2 \in (0, \infty )\). Тогда \[ \frac{S_n - na}{\sigma \sqrt{n}} \xrightarrow {d} \mathscr {N}\left(0, 1\right). \]

Доказательство (то самое, ради которого строились темы 7–8). Не ограничивая общности, \(a = 0\), \(\sigma = 1\) (центрируем и нормируем). По свойствам ХФ (тема 8):

\[ \varphi _{S_n/\sqrt{n}}(t) = \left[\varphi _{\xi _1}\left(\tfrac {t}{\sqrt{n}}\right)\right]^{n} = \left[1 - \frac{t^2}{2n} + o\left(\tfrac {1}{n}\right)\right]^{n} \xrightarrow [n \to \infty ]{} e^{-t^2/2}, \]

где тейлоровское разложение \(\varphi (s) = 1 - \frac{s^2}{2} + o(s^2)\) законно, поскольку существует второй момент (утверждение st:cf_properties, п. 5). Предел \(e^{-t^2/2}\) — ХФ стандартного нормального распределения, непрерывная в нуле; теорема Леви о непрерывности завершает доказательство. \(\blacksquare\)

Пять строк — но в них работает вся машинерия: измеримость и моменты (темы 1, 3), независимость (тема 1), слабая сходимость и плотность (тема 7), характеристические функции и единственность (тема 8). Гауссовский предел появился из арифметики: любая ХФ с нулевым средним и единичной дисперсией в нуле выглядит как \(1 - \frac{t^2}{2}\), и возведение в степень \(n\) стирает все остальные детали распределения. Универсальность ЦПТ — это универсальность второго порядка тейлоровского разложения.

2 Обобщения и уточнения

Теорема 3 (Линдеберг; Ляпунов) Пусть \(\xi_1, \xi_2, \ldots\) независимы (не обязательно одинаково распределённые), \(\mathbb {E}\left[\xi_k\right] = 0\), \(\sigma_k^2 = \operatorname {Var}\left[\xi_k\right]\), \(D_n^2 = \sum_{k=1}^n \sigma_k^2\). Если выполнено условие Линдеберга: для любого \(\varepsilon > 0\) \[ \frac{1}{D_n^2}\sum _{k=1}^{n} \mathbb {E}\left[\xi _k^2 \; \mathbb {1}_{\left|\xi _k\right| > \varepsilon D_n}\right] \xrightarrow [n \to \infty ]{} 0, \] то \(\frac{S_n}{D_n} \xrightarrow {d} \mathscr {N}\left(0, 1\right)\). Достаточное условие (Ляпунов): \(\frac{1}{D_n^{2+\delta }} \sum_{k=1}^n \mathbb {E}\left[\left|\xi_k\right|^{2+\delta }\right] \to 0\) для некоторого \(\delta > 0\).

Смысл условия Линдеберга прозрачен: ни одно слагаемое не должно доминировать — вклад «крупных» значений в суммарную дисперсию пренебрежим. Это условие почти необходимо (теорема Феллера). Ляпунов — удобный в проверке частный случай: чуть больше двух моментов, и всё сработает. Практический смысл: ЦПТ применима к суммам разнородных независимых вкладов (портфель разных активов, суммарная ошибка из разных источников) — лишь бы никакой вклад не был сопоставим со всей суммой.

Теорема 4 (Берри–Эссеен; формулировка) В условиях ЦПТ с \(\rho = \mathbb {E}\left[\left|\xi_1 - a\right|^3\right] < \infty\): \[ \sup _{x \in \mathbb {R}} \left|\mathbb {P}\left(\frac{S_n - na}{\sigma \sqrt{n}} \leq x\right) - \Phi (x)\right| \leq \frac{C \rho }{\sigma ^3 \sqrt{n}}, \qquad C \leq 0{.}48. \]

Скорость \(\frac{1}{\sqrt{n}}\) неулучшаема (для решётчатых распределений ФР суммы имеет скачки высоты \(\sim \frac{1}{\sqrt n}\)). Это честный ответ на вопрос «а при каком \(n\) уже можно пользоваться ЦПТ»: погрешность контролируется третьим моментом — чем асимметричнее и тяжелее хвосты, тем больше нужно \(n\).

Mn-remarkЗамечание

2.1 Муавр–Лаплас и пуассоновская аппроксимация

Для схемы Бернулли \(S_n \sim \operatorname {Bin}(n, p)\) ЦПТ даёт интегральную теорему Муавра–Лапласа: \[ \mathbb {P}\left(S_n \leq k\right) \approx \Phi \left(\frac{k + \frac12 - np}{\sqrt{np(1-p)}}\right) \] (слагаемое \(\frac12\) — поправка на непрерывность: середина между соседними целыми; она заметно повышает точность). Но при малых \(p\) (редкие события: \(np\) умеренное, \(n\) огромное) нормальная аппроксимация плоха — правильный предел пуассоновский: \[ \operatorname {Bin}(n, p_n) \xrightarrow {d} \operatorname {Pois}(\lambda ), \qquad n p_n \to \lambda \] (теорема Пуассона; мгновенно по ХФ: \(\left(1 + p_n(e^{it}-1)\right)^n \to e^{\lambda (e^{it}-1)}\); количественная версия — неравенство Ле Кама: полное расстояние по вариации \(\leq \sum p_k^2\)). Правило выбора: \(np(1-p) \gtrsim 10\) — нормальная; \(p\) мало, \(np\) умеренное — пуассоновская.

УведомлениеЗдесь будет интерактивная иллюстрация

Интерактивная иллюстрация ещё не создана. См. исходник: /home/nedosh/Documents/online_math_notes/math-notes_FPMI_2/courses/nedosh_courses/courses/04-probability/02_PT/contents/specials/090/01_clt_approximations_fig.tex.

Mn-remarkЗамечание

2.2 закон повторного логарифма; факультативно

Для полноты картины о флуктуациях \(S_n\) (н.о.р., \(a = 0\), \(\sigma = 1\)): \[ \limsup _{n \to \infty } \frac{S_n}{\sqrt{2 n \ln \ln n}} = 1 \quad \text{п.н.}, \qquad \liminf _{n \to \infty } \frac{S_n}{\sqrt{2n\ln \ln n}} = -1 \quad \text{п.н.} \] Траектория \(S_n\) бесконечно часто подходит к границам \(\pm \sqrt{2n\ln \ln n}\), но п.н.не выходит за них асимптотически. ЗПЛ живёт между ЗБЧ (\(S_n = o(n)\)) и ЦПТ (типичный размах \(\sim \sqrt{n}\)): он описывает рекордные, а не типичные флуктуации. Курс случайных процессов сошлётся на него при изучении винеровского процесса.

ProblemЗадача 1

Вы пригласили на вечеринку 64 гостя. Каждому гостю нужно 0, 1 или 2 бутерброда с вероятностями \(\frac14, \frac12, \frac14\), независимо от остальных. Сколько бутербродов приготовить, чтобы с вероятностью \(95\%\) хватило всем?

ProblemЗадача 2

(Цена точности опроса.) Перед выборами опрашивают \(n\) случайных избирателей; доля сторонников кандидата в популяции — \(p\). Сколько человек нужно опросить, чтобы с вероятностью \(95\%\) выборочная доля \(\widehat{p}_n\) отличалась от \(p\) не более чем на \(3\%\)? Почему в ответе не участвует размер страны?

ProblemЗадача 3

Профессиональный дантист удаляет зуб с одной попытки с вероятностью \(\frac{2}{3}\). Заключён контракт на удаление зубов у 300 пациентов. Оцените с помощью ЦПТ вероятность, что дантисту понадобится не менее 470 попыток.

ProblemЗадача 4

В рукописи \(10^5\) символов; каждый набирается с ошибкой с вероятностью \(10^{-4}\), независимо. Найдите вероятность, что в рукописи не более двух опечаток. Почему здесь пуассоновская аппроксимация, а не нормальная?

ProblemЗадача 5*

Пусть \(\xi_1, \xi_2, \ldots\) — н.о.р., \(\mathbb {E}\left[\xi_1\right]=a\), \(0 < \operatorname {Var}\left[\xi_1\right] < \infty\). Докажите, что последовательность \(\zeta_n = \sqrt{n}\left(\frac{S_{n}}{n}-a\right)\) не имеет предела по вероятности (хотя по распределению сходится!).