大数定律！

简单整理一下概率论大数定律部分的内容，感觉这部分真的厉害，借用公理化把概率真正讲清楚了。

注：这部分的基础大量建立在“各种收敛”的概念上。

以及吐槽一句，这个 MathJax 难用极了，不知道为什么需要先 \begin{aligned} \end{aligned} 一下才能用 \xrightarrow，有时间考虑搬一下博客。

Motivation

实验中发现，大量重复实验的结果呈现某种规律性，即每个事件出现的频率（在实验次数很大的时候）趋近于一个定值（在没有公理化时，这个就可以作为某种概率的定义）。

伯努利实验场合下的极限定理

伯努利实验是一个很简单的模型，我们可以首先借其来研究，而后我们再研究独立同分布的情况。

假设我们记 $X_1, X_2, \dots, X_n$ 是 n 次伯努利的结果（0/1，不发生/发生），这样频率即为发生次数/总次数，也即 $\frac{\sum_{i=1}^n X_i}{n}$.
之后我们为了方便会记一个前缀和 $S_m = \sum_{i=1}^m S_i $.

注意到“概率”这个概念在每个伯努利实验中是一个常量 $p$（简单的模型就是爽），我们前面说的那种“规律性”即为

$$
\frac{S_n}{n} \rightarrow p
$$

左侧是一列随机变量，收敛到右侧一个常量（可以理解为常随机变量）。既然涉及到随机变量列的收敛，当然我们要考虑是什么收敛。这里我们先研究弱大数定律：规定若其依概率收敛到 p，那么其满足 弱大数定律。

当然，对于伯努利实验场景，成功率 p 是个定值。那对于一般的情况，应该收敛到什么呢？答案是

$$
\frac{S_n-\textbf{E}S_n}{n} \rightarrow 0
$$

即样本均值收敛到总体均值。特别地，若 $\textbf{E}X_k = a$，那么这个式子可以写成 $\frac{S_n}{n} \rightarrow a$，即我们所熟悉的“那个常数”，那个常数即是数学期望。

注意逻辑关系：我们的数学期望是用积分定义的，但我们本能地感觉到如果我们很多次重复进行这个实验，最终我们的平均结果会趋近于期望——大数定律保证了这件事。但是大数定律需要一些条件满足，也就是说不是每列随机变量都“符合大数定律”。

总之我们有了第一个大数定律，由于是作为引入，它当然非常地弱，以至于我们后面会借助更强的大数定律直接得出它：

伯努利大数定律

对独立的 n 次伯努利实验有

$$
\begin{aligned}
\frac{S_n}{n} \xrightarrow{P} p
\end{aligned}
$$

我们来证的第一个定理叫切比雪夫大数定律，它可以直接由切比雪夫不等式得出，因此叫这个名字。它不限制于伯努利实验中。

切比雪夫大数定律（《概率与测度》9.1.3）

（切比雪夫）设 $X_1, X_2, \dots, X_n, \dots$ 是两两不相关的随机变量序列，且每个随机变量方差有公共上界：

$$
\exists C, \forall i \in \mathbb{Z}^+, \textbf{D}X_i \le C
$$

其中两两不相关即 $cov(X_i, X_j) = 0$, 当然在这里只需要使用到等价条件：$\textbf{D}(X_i+X_j) = \textbf{D}X_i + \textbf{D}X_j$.

那么有其满足弱大数定律。

Proof: 首先有切比雪夫不等式

$$
P\{|X-\textbf{E}X| \ge \epsilon\} \le \frac{\textbf{D}X}{\epsilon^2}
$$

这个不等式可以直接由 Markov 不等式推出来：

$$
P[X \ge \epsilon] \le \frac{\textbf{E}X}{\epsilon}
$$

即

$$
P\{|X-\textbf{E}X| \le \epsilon\} = P\{(X-\textbf{E}X)^2 \le \epsilon^2\} \le \frac{\textbf{E}(X-\textbf{E}X)}{\epsilon^2}
$$

我们考虑证原命题。对于任意的 $\epsilon > 0$，

$$
P[|\frac{S_n - \textbf{E}S_n}{n}| \ge \epsilon]
\le
\frac{\textbf{D}\frac{S_n}{n}}{\epsilon^2} \le \frac{C}{n \epsilon^2} \rightarrow 0
$$

证毕. 我们来借其说明一下伯努利大数定律。对于每个 $X_i$，有 $\textbf{D}X_i = p(1-p)$ 有界，故切比雪夫大数定律条件满足。而

$$
\frac{\textbf{E}S_n}{n} = \frac{\sum_{i=1}^n \textbf{E}X_i}{n} = p
$$

得证.

其它

（马尔可夫大数定律）注意到证明中只要

$$
\frac{\text{D}S_n}{n^2} \rightarrow 0
$$

即可，把有界条件改成这一条件即为马大数。

（泊松大数定律）推广伯努利实验过程，假设这些实验的 p 不等，即设第 k 次实验成功概率为 $p_k$. 那么有

$$
\frac{S_n - \sum_{i=1}^n p_i}{n} \xrightarrow{P} 0
$$

注意到虽然概率不同，但是第 k 次的方差为 $p_k(1-p_k) \le \frac{1}{4}$ 有界。

辛钦大数定律

切比雪夫的不好之处就在其用到了二阶矩，但是在独立同分布场合其实不需要这个要求，辛钦对切比雪夫的推广就是其只用到了一阶矩的信息，就可以研究独立同分布的随机变量序列情况。

（辛钦）设 $X_1, X_2, \dots, X_n, \dots$ 独立同分布，且具有有限的数学期望

$$
\textbf{E} X_i = a
$$

那么其满足弱大数律。

Proof: 证明需要用到特征函数的工具，这里写一下大纲。

由于其独立同分布，设 $X_i$ 特征函数为 $f(t)$，那么 $\frac{S_n}{n}$ 的特征函数即为 $f(\frac{t}{n})^n$. 由于一阶矩存在，可以对特征函数进行一阶泰勒展开

$$
f(\frac{t}{n})^n = (1 + \frac{t}{n}ia + o(\frac{t}{n}))^n
$$

两边对 $n$ 取极限，可知其特征函数收敛到 $e^{iat}$，即“恒等于 $a$ 的随机变量的特征函数”。由逆极限定理知道其依分布收敛到常数 $a$，那么知其依概率收敛到常数 $a$。

顺便把关于特征函数和依分布收敛的知识补充在这里。

特征函数

定义：对于随机变量 $X$，设其分布函数为 $F_X(x)$，则其特征函数定义为

$$
f_X(t) = \textbf{E} e^{itX} = \int_{-\infty}^{+\infty} e^{itx} dF_X(x)
$$

（实变量的复值函数）

意义：特征函数包含了随机变量的所有数字信息（$k$ 阶矩），特征函数和分布函数互相唯一确定，进而和随机变量的概率分布互相唯一确定。

（性质1 基本特征）

$f(0) = 1$
$$
|f(t)| \le \int_{-\infty}^{+\infty} |e^{itx}| dF_X(x)
\le \int_{-\infty}^{+\infty} dF_X(x) = f(0) = 1
$$
$f(-t) = \overline{f(t)}$ (共轭)
事实上，
$$
f(t) = \textbf{E} e^{itX} = \textbf{E} [\cos tX + i\sin tX]
= \textbf{E} [\cos tX] + i \textbf{E} [\sin tX]
$$

（性质2 一致连续）

先证明 $\forall h \in \mathbb{R}$,

$$
|f_X(t) - f_X(t+h)|^2 \le 2[1-\textbf{Re}(f_X(h))]
$$

考虑到

$$
\begin{aligned}
|f_X(t) - f_X(t+h)|^2 &= |\int_{-\infty}^{+\infty} (e^{itx} - e^{i(t+h)x)}) dF_X(x)|^2 \\
&= |\int_{-\infty}^{+\infty} e^{itx} (1 - e^{ihx}) dF_X(x)|^2\\
&= |\int_{-\infty}^{+\infty} (1 - e^{ihx}) dF_X(x)|^2 \\
&\le \int_{-\infty}^{+\infty} [2-(e^{ihx}+\overline{e^{ihx}})] dF_X(x) (\text{千万注意！复数的平方！}) \\
&= 2[1-\textbf{Re}(f_X(h))]
\end{aligned}
$$

那么一致收敛只要求

$$
\lim_{h \rightarrow 0} \textbf{Re}(f_X(h)) =
\lim_{h \rightarrow 0} \textbf{E}[\cos hX] =
\textbf{E}[\lim_{h \rightarrow 0} \cos hX] =1
$$

注意到 $|\cos h X| \le 1$，（对于概率测度，有界函数函数都是可积的）由控制收敛定理极限可交换，故一致收敛得证。

（性质3 独立随机变量之和）

对于独立随机变量 $X_1, X_2$，有

$$
f_{X_1+X_2}(t) = \textbf{E} e^{it(X_1+X_2)} =
\textbf{E} e^{itX_1} \textbf{E} e^{itX_2} = f_{X_1}(t) f_{X_2}(t)
$$

（不难得到复随机变量 $e^{itX_1}, e^{itX_2}$ 也是独立的）

此外，由此很容易得到随机变量在特征函数上的线性变换

$$
f_{aX+b}(t) = \textbf{E} e^{it(aX+b)} = e^{itb} \textbf{E} e^{itaX} = e^{itb} f_{aX}(t)
$$

（性质4 特征函数与 $k$ 阶矩）

$$
f_X^{(k)}(0) = i^k \textbf{E}^k[X]
$$

直接求导即可得到。那么有推论：若此随机变量的 $k$ 阶矩存在，则其特征函数可作如下展开：

$$
f(t) = 1 + it \textbf{E}X + \frac{(it)^2}{2!} \textbf{E}X^2 + \dots + \frac{(it)^k}{k!} \textbf{E}X^k + o(t^k)
$$

下面我们来考虑为什么特征函数和分布函数是互相唯一确定的。由分布函数确定特征函数是显然的（计算式），那么反过来有如下结果：

（逆转公式）设随机变量的分布函数为 $F(x)$，特征函数为 $f(t)$，那么有

$$
\frac{F(x_2) + F(x_2-)}{2} - \frac{F(x_1)+F(x_1-)}{2} =
\lim_{T \rightarrow \infty} \frac{1}{2\pi} \int_{-T}^{T}
\frac{e^{-itx_1}-e^{-itx_2}}{it} f(t) dt
$$

Proof: 记

$$
\begin{aligned}
I_T &= \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-itx_1}-e^{-itx_2}}{it} f(t) dt \\
&= \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-itx_1}-e^{-itx_2}}{it} dt \int_{-\infty}^{+\infty} e^{itx} dF(x) \\
&= \frac{1}{2\pi} \int_{-T}^{T} \int_{-\infty}^{+\infty} \frac{e^{-itx_1}-e^{-itx_2}}{it} e^{itx} dF(x) dt
\end{aligned}
$$

先证明被积函数的有界性。

$$
\lvert \frac{e^{-itx_1}-e^{-itx_2}}{it} e^{itx} \rvert \le
\frac{|e^{it(x-x_1)} - 1|}{|t|} + \frac{|e^{it(x-x_2)} - 1|}{|t|}
\le |x-x_1| + |x-x_2| = x_2 - x_1
$$

交换积分次序有

$$
\begin{aligned}
I_T &= \frac{1}{2\pi} \int_{-T}^{T} \int_{-\infty}^{+\infty} \frac{e^{-itx_1}-e^{-itx_2}}{it} e^{itx} dF(x) dt \\
&= \frac{1}{2\pi} \int_{-\infty}^{+\infty} dF(x) \int_{-T}^{T} \frac{e^{-itx_1}-e^{-itx_2}}{it} e^{itx} dt \\
&= \frac{1}{2\pi} \int_{-\infty}^{+\infty} dF(x) \int_{-T}^{T} \frac{\sin t(x-x_1)-\sin t(x-x_2)}{t} dt \\
\end{aligned}
$$

一个很重要的结果（Dirichlet 积分），证明这里略去：

$$
\lim_{T \rightarrow \infty} \int_0^T \frac{\sin(ax)}{x} dx = \frac{\pi}{2} \text{sgn}(a)
$$

那么

$$
\begin{aligned}
I_T &= \frac{1}{2\pi} \int_{-\infty}^{+\infty} dF(x) \int_{-T}^{T} \frac{\sin t(x-x_1)-\sin t(x-x_2)}{t} dt \\
&= \frac{1}{2} \int_{-\infty}^{+\infty} [\text{sgn}(x-x_1) - \text{sgn}(x-x_2)] dF(x) \\
&= \frac{1}{2} P(X=x_1) + \frac{1}{2} P(X=x_2) + F(x_2) - F(x_1) \\
&= \frac{F(x_2) + F(x_2-)}{2} - \frac{F(x_1)+F(x_1-)}{2} \\
\end{aligned}
$$

特别地，对于连续点有

$$
F(x_2) - F(x_1) =
\lim_{T \rightarrow \infty} \frac{1}{2\pi} \int_{-T}^{T}
\frac{e^{-itx_1}-e^{-itx_2}}{it} f(t) dt
$$

（唯一性定理）特征函数唯一确定分布函数。在连续点上可以令 $x_1 \rightarrow -\infty$，则连续点的值都能确定。而分布函数的不连续点至多可数（这是因为分布函数单调），那么对于任意一点，一定能（从右边）找一列连续点逼近。证毕。

（特征函数与密度函数）对于特征函数，若满足

$$
\int_{-\infty}^{+\infty} |f(t)| dt < \infty
$$

则其相应分布函数的导数存在并连续，且有

$$
F'(x) = \frac{1}{2\pi} \int_{-\infty}^{+\infty} e^{-itx} f(t) dt
$$

（连续型随机变量，特征函数和密度函数差一个傅里叶变换）

Proof: 由逆转公式，对于连续点 $x$，

$$
\begin{aligned}
\frac{F(x+\Delta x)-F(x)}{\Delta x} &= \lim_{T \rightarrow \infty} \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-itx}-e^{-it(x+\Delta x)}}{it\Delta x} f(t) dt = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{e^{-itx}-e^{-it(x+\Delta x)}}{it\Delta x} f(t) dt
\end{aligned}
$$

取极限

$$
\begin{aligned}
F'(x) &= \lim_{\Delta x \rightarrow 0} \frac{F(x+\Delta x)-F(x)}{\Delta x} \\
&= \lim_{\Delta x \rightarrow 0} \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{e^{-itx}-e^{-it(x+\Delta x)}}{it\Delta x} f(t) dt \\
&= \frac{1}{2\pi} \int_{-\infty}^{+\infty} \lim_{\Delta x \rightarrow 0} \frac{e^{-itx}-e^{-it(x+\Delta x)}}{it\Delta x} f(t) dt \\
&= \frac{1}{2\pi} \int_{-\infty}^{+\infty} e^{-itx} f(t) dt
\end{aligned}
$$

依分布收敛

我们很早就考察过分布函数收敛到某个值的事情，但是我们知道分布函数 $F_n$ 收敛到 $F$ 并不意味着 $F$ 也是一个分布函数。例如：

$$
F_n = \frac{1}{\pi} \text{arctan} (\frac{x}{n}) + \frac{1}{2}
$$

其收敛到 $y=\frac{1}{2}$，显然不是分布函数。

同时我们注意到另一点：如果要求处处收敛，那么一列分布函数可能并不会像我们想的那样收敛到某个地方。一个例子：

$$
F_n(x) = \begin{cases}
0,\ x \le -\frac{1}{n} \\
1,\ x > -\frac{1}{n}
\end{cases}
$$

我们自然会想其收敛到

$$
F(x) = \begin{cases}
0,\ x \le 0 \\
1,\ x > 0
\end{cases}
$$

但是对于不连续点 $x=0$，$F_n(0)=1$，而 $F(0) = 0$. 因此我们考虑放宽条件，只对连续点收敛。

（定义）随机变量 $X_1, X_2, \dots, X_n, \dots$ 的分布函数分别为 $F_{X_1}, F_{X_2}, \dots, F_{X_n}, \dots$, 随机变量 $X$ 的分布函数为 $F_X$，且对于 $F_X$ 的所有连续点 $x$，都有

$$
\lim_{n \rightarrow \infty} F_{X_n}(x) = F_X(x)
$$

则称 $\{X_n\}$ 依分布收敛到 $X$，记作 $X_n \xrightarrow{d} X $。

对于区间 $(a, b]$，若 $a, b$ 均为 $F_X$ 连续点，称其为连续区间。对于连续区间有此性质：

$$
\lim_{n \rightarrow \infty} \mu_{X_n}((a, b]) =
\lim_{n \rightarrow \infty} F_{X_n}(b) - F_{X_n}(a) =
F_X(b) - F_X(a) = \mu_X((a, b])
$$

（依分布收敛的等价刻画）我们知道分布函数和概率分布其实可以说是一个东西，这条等价刻画更加实用（也可以作为定义），它反映的是从概率分布这个测度的眼光来看，依分布收敛实际上是积分的等价性：

$X_n \xrightarrow{d} X$ 当且仅当对于任意的 $\mathbb{R}$ 上的有界连续函数 $f$，有

$$
\lim_{n \rightarrow +\infty} \int_{\mathbb{R}} f(x) \mu_{X_n} (dx) = \int_{\mathbb{R}} f(x) \mu_X(dx)
$$

也即 $\mu_{X_n}(f) \rightarrow \mu_X(f)$ 或者 $\textbf{E}[f(X_n)] \rightarrow \textbf{E}[f(X)]$。

（Proof Sketch）这个推原定义：考虑如果对于任意的连续区间 $(a, b]$，取 $f = 1_{(a, b]}$，有

$$
\lim_{n \rightarrow +\infty} \int_{\mathbb{R}} f \mu_{X_n}
= \int_{\mathbb{R}} f \mu_{X}
$$

即

$$
\lim_{n \rightarrow +\infty} \mu_{X_n} ((a, b]) = \mu_{X} ((a, b]) \Longrightarrow \lim_{n \rightarrow +\infty} F_{X_n}(b) - F_{X_n}(a) = F_X(b) - F_X(a)
$$

那么再令 $a$ 趋于负无穷就结束了。问题是 $f$ 不是有界连续函数：可以用有界连续函数逼近。

原定义推这个：原定义相当于在示性函数上成立积分相等，那非常经典地可以用示性函数逼近连续函数。

关于依分布收敛，最重要的定理还是这个：

（特征函数刻画依分布收敛）设 $\{X_n\}, X$ 是随机变量，$\{f_n\}, f$ 为相应的特征函数。那么

$$
X_n \xrightarrow{d} X \Longleftrightarrow
\lim_{n \rightarrow +\infty} f_n(t) = f(t), \forall t \in \mathbb{R}
$$

可惜证明很繁琐。这里提一个简单的方向（左推右）：考虑特征函数也是一个特殊的积分式子，因此由依分布收敛的积分相等的性质得证。左推右需要用到 Prohorov 定理，这里略去。

（概率论这个课程的本质就是，定理很优美很有用，但是超级难证，因为公理化的工作太恶心人了，所以有的就当艺术鉴赏吧）

依分布收敛和其它收敛的关系

若 $ X_n \xrightarrow{P} X$，则 $X_n \xrightarrow{d} X$。
设 $\{X_n\}$ 在同一个概率空间下，则 $X_n \xrightarrow{d} C \Longleftrightarrow X_n \xrightarrow{P} C$。

（1）只要证明对于任意有界连续函数 $f$，都有 $\textbf{E}[f(X_n)] \rightarrow \textbf{E}[f(X)]$。对于任意的 $\omega$，我们记 $x_n = X_n(\omega)$，$x = X(\omega)$。由于 $f$ 一致收敛，对于任意的 $\epsilon > 0$，存在 $\delta > 0$，使得若 $|x_n-x| < \delta$，则 $|f(x_n)-f(x)| < \epsilon$。

$$
\begin{aligned}
|\textbf{E}[f(x_n)] - \textbf{E}[f(x)]| &\le \textbf{E}[|f(x_n) - f(x)|] \\
&= \textbf{E}[|f(x_n) - f(x)| 1_{\{|x_n-x|\le \delta\}} ]
+ \textbf{E}[|f(x_n) - f(x)| 1_{\{|x_n-x|> \delta\}} ] \\
&= \epsilon + 2C P(\{|x_n-x|> \delta\})
\end{aligned}
$$

令 $n$ 趋于 0 得第二项为 0，由于 $\epsilon$ 任意，那么有 $|\textbf{E}[f(x_n)] - \textbf{E}[f(x)]|$ 趋于 0，毕。

（2）只要左推右。对于任意的 $\epsilon > 0$，

$$
\begin{aligned}
P(\{|X_n - C| \ge \epsilon\}) &= P(\{X_n \ge C + \epsilon\})
+ P(\{X_n \le C - \epsilon\}) \\
&= 1 - F(C+\epsilon-) + F(C-\epsilon) \\
&\rightarrow 1 - 1 + 0 = 0
\end{aligned}
$$

毕。

中心极限定理

大数定律说明了样本均值（相当于是一堆独立同分布随机变量之和，乘个系数）在大量取样之下逼近实际均值。而中心极限定理直接给出这个“随机变量之和”在取样趋于无穷大时趋近正态分布的结果。

为什么是正态分布呢？一种解释是，正态分布的特征函数是傅里叶变换的不动点（稳定点）。后面可以从证明感受一下。

中心极限定理可以推出大数定律，这是因为大数定律只给了期望（即正态分布那个高峰）。研究中心极限定理我们要非常频繁地用到特征函数。

独立同分布的CLT

设 $\{X_n\}$ 为独立同分布随机变量，且 $\textbf{E}[X_1]=0$，$\textbf{E}[X_1^2]=1$，则 $\frac{Sn}{\sqrt{n}} \rightarrow N(0, 1)$

（Proof）只需证

$$
f_{\frac{S_n}{\sqrt{n}}}(t) \rightarrow e^{-\frac{t^2}{2}}
$$

那么有

$$
\begin{aligned}
f_{\frac{S_n}{\sqrt{n}}}(t) &= \prod f_{\frac{X_1}{\sqrt{n}}}(t) \\
&= (1+\frac{(it)^2}{2!n}+o(t^2))^n \\
&= e^{-\frac{t^2}{2}}
\end{aligned}
$$

可以看到和一阶矩为 0、二阶矩有限关系很大。

考虑一般的独立同分布，$\textbf{E}[X_1]=a$，$\textbf{D}[X_1]=b^2$，那么 $\frac{X_1-a}{b}$ 即为标准情况。所以我们一般不直接考虑 $\frac{S_n}{\sqrt{n}}$，而是考虑标准化和

$$
\zeta_n = \frac{S_n - na}{\sqrt{n}b}
$$

这样我们就有独立同分布 CLT

$$
\lim_{n \rightarrow \infty} \frac{S_n - na}{b\sqrt{n}} \rightarrow N(0, 1)
$$

也即 Lindeberg-Levin 定理。在分布函数上的应用即为

$$
\lim_{n \rightarrow \infty} P\{\zeta_n \le x\} =
\frac{1}{\sqrt{2\pi}} \int_{-\infty}^n e^{-\frac{t^2}{2}}
$$

（注意：出现“随机变量求和”这种感觉的东西，或者参数带 n，都注意一下 CLT）

一般情况 CLT 的充要条件

现在考虑不独立同分布的情况。设 $a_k = \textbf{E}X_k$，$b_k^2 = \textbf{D}X_k$，那么 $\textbf{E}[S_n] = \sum_{k=1}^n a_k$，$\textbf{E}[S_n] = \sum_{k=1}^n a_k$，$\textbf{D}[S_n]=\sum_{k=1}^n b_k^2$ 此时标准化和数变为

$$
\zeta_n = \frac{S_n - \textbf{E}[S_n]}{\sqrt{n}\sqrt{\textbf{D}[S_n]}}
$$

令 $B_n^2 = \sum_{k=1}^n b_k^2 $，即为

$$
\zeta_n = \sum_{k=1}^n \frac{X_k - a_k}{B_n}
$$

我们首先希望的是上述 $\sigma$ 号中各项“均匀地小”，即对于任意的 $\tau > 0$，如下概率

$$
P\{\max_{1 \le k \le n} |X_k - a_k| > \tau B_n \} \rightarrow 0
$$

而

$$
\begin{aligned}
P\{\max_{1 \le k \le n} |X_k - a_k| > \tau B_n \} &=
P\{\bigcup_{1 \le k \le n} [|X_k - a_k| > \tau B_n] \} \\
&\le \sum_{1 \le k \le n} P\{[|X_k - a_k| > \tau B_n]\} \\
&= \sum_{1 \le k \le n} \int_{|x - a_k| > \tau B_n} dF_{X_k}(x) \\
&\le \sum_{1 \le k \le n} \frac{1}{(\tau B_n)^2} \int_{|x - a_k| > \tau B_n} (x-a_k)^2 dF_{X_k}(x)
\end{aligned}
$$

故我们引出了 Lindeberg 条件：对于任意的 $\epsilon > 0$，有

$$
\sum_{1 \le k \le n} \frac{1}{B_n^2} \int_{|x - a_k| > \epsilon B_n} (x-a_k)^2 dF_{X_k}(x) \rightarrow 0
$$

其为 CLT 的充分条件。而要充要，还需要引入 Feller 条件：

$$
\max_{1 \le k \le n} \frac{b_k^2}{B_n^2} \rightarrow 0
$$

我们声称 Feller + CLT 等价于 Lindeberg。由于证明比较繁琐，这里就粗浅地看一下一个方向：Lindeberg 推 Feller + CLT。这里我们令期望均为 0，方便讨论，则 Lindeberg 变为

$$
\sum_{1 \le k \le n} \frac{1}{B_n^2} \int_{\frac{x^2}{B_n^2} > \epsilon } x^2 dF_{X_k}(x)
$$

那么

$$
\begin{aligned}
b_k^2 &= \int x^2 dF_{X_k}(x) \\
&= \int_{\frac{x^2}{B_n^2} > \epsilon } x^2 dF_{X_k}(x) + \int_{\frac{x^2}{B_n^2} \le \epsilon } x^2 dF_{X_k}(x)
\end{aligned}
$$

$$
\frac{b_k^2}{B_n^2} \le L + \epsilon
$$

其中 L 是 Lindeberg 那一项。先由 $\epsilon$ 任意性，再令 n 趋于无穷，Feller 得证。

强大数定律

强大数定律主要借用“尾”这个概念刻画了收敛到常数的一些概念。具体来说，

$$
\frac{X_1 + X_2 + \dots + X_n}{n} \xrightarrow{a.s.} C
$$

相当于事件 $A$：$\{ \omega \mid \lim_{n \rightarrow +\infty} \frac{X_1 + X_2 + \dots + X_n}{n} \text{存在} \} $ 的概率为

$$
P(A)=0, 1
$$

（定义）对于一列独立的随机变量 $X_1, X_2, \dots$，令

$$
\mathcal{D} = \bigcap_{n=1}^\infty \sigma \{\{X_k\}_{k=n}^{+\infty} \}
$$

称 $\mathcal{D}$ 为关于随机变量列 $\{X_n\}$ 的尾事件。（形象理解：改变前有限项随机变量的取值，不影响尾事件的发生概率）。

显然之前提到的 $A$ 就是尾事件。下面介绍的 Kolmogorov 0-1 律就是要说明，尾事件的概率为 0 或 1。为此我们先引出一个引理：

（Borel-Cautelli）设 $\{A_n\}$ 为一列事件。

$$
\sum_{k=1}^{+\infty} P(A_k) < +\infty \Longrightarrow P(A_k \text{i.o.}) = 0
$$
注：$\{A_k \text{i.o.}\} = \overline{\lim_{k \rightarrow +\infty}} A_k = \bigcap_{n=1}^{+\infty} \bigcup_{k=n}^{+\infty} A_k $，即为 $\{A_k\}$ 发生无穷多次。（事件列上极限：样本属于无穷多个 $A_k$；下极限：样本从某个下标开始就一直属于，即至多不属于有限个 $A_k$）。
若此为独立事件列，则
$$
\sum_{k=1}^{+\infty} P(A_k) = +\infty \Longrightarrow P(A_k \text{i.o.}) = 1
$$

（Proof）第一点，

$$
P\{\bigcap_{n=1}^{+\infty} \bigcup_{k=n}^{+\infty} A_k\}
\le P\{\bigcup_{k=n}^{+\infty} A_k\} \le \sum_{k=n}^{+\infty} P(A_k) \rightarrow 0
$$

第二点，记 $B_n = \sup_{k \ge n} A_k = \bigcup_{k=n} A_k $。注意到

$$
P(\bigcap_{k=n}^{+\infty} \overline{A_k}) = \prod_{k \ge n} [1-P(A_k)] \le e^{-\sum_{k \ge n} P(A_k)} = 0
$$

因此对每个 $B_n$，

$$
P(B_n) = 1 - P(\bigcap_{k=n}^{+\infty} \overline{A_k}) = 1
$$

得证。

（Kolmogorov 0-1 律）尾事件 A 的概率为 0 或 1。

证明很简单，由尾事件定义可以推出 A 与 A 独立，从而就有

$$
P(A) = P(A)^2
$$

（竣工牌）

没有风会经过的旅店