大数定律和中心极限定理

研究大量的随机对象，常常采用极限的形式，由此导致对极限定理的研究

大数定律

大量随机事件中结果存在一定的稳定性

伯努利大数定律

频率是概率的反应，观察次数增加，频率将逐渐稳定、靠近概率，我们用严格的数学公式规范这种描述

$$\lim\limits_{n\rightarrow\infty}P\lbrace|\frac{u_n}{n}-p|<ε\rbrace=1$$

其中un为n次实验中事件发生的次数，n自然为总试验次数，p为这个事件的发生概率，ε为一个极小的正数

• 上式也就表明当实验次数趋近于无穷时，频率将无限逼近概率

由伯努利大数定律可以推导得大数定律的定义：

设(ξ1,ξ2,...,ξn)是随机变量序列，如果存在常数序列(a1,a2,...,an)，使得

$$\lim\limits_{n\rightarrow+\infty}P\lbrace|\frac{1}{n}\sum_{i=1}^{n}\xi_i-a_n|<ε\rbrace=1$$

则称随机变量序列{ξi}服从大数定律

切比雪夫大数定律

由大数定律的定义推导而来，将常数序列该换为随机变量数学期望的平均值

要求每个随机变量均具有方差且各自独立，并且方差均有同一上界，即

$$D\xi_i\leq C,\quad i=1,2,...$$

切比雪夫大数定律

$$\lim\limits_{n\rightarrow+\infty}P\lbrace|\frac{1}{n}\sum_{i=1}^{n}\xi_i-\frac{1}{n}\sum_{i=1}^{n}E(\xi_i)|<ε\rbrace=1$$

复习一波切比雪夫不等式：设随机变量X期望为E(X)=u，方差D(X)存在，则

$$P(|X-u|\geq ε)\leq \frac{D(X)}{ε^2}$$

其中ε为任意正数

马尔可夫大数定律

形式上于切比雪夫大数定律一样，但解除了更多的条件限制

若对于随机变量序列(ξ1,ξ2,...,ξn)，有

$$\frac{1}{n^2}D(\sum_{i=1}^n\xi_i)\rightarrow0$$

则有

$$\lim\limits_{n\rightarrow+\infty}P\lbrace|\frac{1}{n}\sum_{i=1}^{n}\xi_i-\frac{1}{n}\sum_{i=1}^{n}E(\xi_i)|<ε\rbrace=1$$

注意切比雪夫大数定律和马尔可夫大数定律均要求随机变量具有方差

辛钦大数定律

对于独立同分布的随机变量序列(ξ1,ξ2,...,ξn)，有

$$\lim\limits_{n\rightarrow+\infty}P\lbrace|\frac{1}{n}\sum_{i=1}^{n}\xi_i-E(\xi_i)|<ε\rbrace=1$$

随机变量的算术平均值将逼近他的数学期望

中心极限定理

如何研究一个由大量相互独立且均匀大小的随机变量相加而成的随机变量的概率分布情况

林德贝格-勒维中心极限

对于独立同分布的随机变量序列(ξ1,ξ2,...,ξn)，则

$$\frac{\sum_{1}^{n}\xi_i-nE(\xi_k)}{\sqrt{n}\sqrt{D(\xi_k)}}$$

满足标准正态分布

例题：对于一个学生而言，来参加家长会的家长人数是一个随机变量。设一个学生无家长、1名家长、2名家长来参加会议的概率分别为0.05、0.8、0.15。若学校共有400名学生，设各学生参加会议的家长数相互独立，且服从同一分布

求参加会议的家长数超过450的概率？

解：设ξk为第k个学生来参加家长会的家长数，由题意可得

ξ(k)	0	1	2
p	0.05	0.8	0.15

易得数学期望

$$E(ξ_k)=1\times0.8+2\times0.15=1.1\rightarrow E(ξ_k^2)=1^2\times0.8+2^2\times0.15=1.4$$

可得方差

$$D(ξ_k)=E(ξ_k^2)-E(ξ_k)^2=1.4-1.21=0.19$$

由林德贝格-勒维中心极限定理

$$A=\frac{\sum_1^{400}\xi_i-n\times E(\xi_k)}{\sqrt{n}\times\sqrt{D(\xi_k)}}=\frac{\sum_1^{400}\xi_i-400\times1.1}{\sqrt{400}\times\sqrt{0.19}}$$

其中ξi的和实际上就是整个班的到场家长人数，由中心极限定理可知上述式子是满足标准正态分布的，即A~N(0,1)

所以

$$\begin{aligned} P(到场人数>450)&=P(A>\frac{450-400\times1.1}{\sqrt{400}\times\sqrt{0.19}})\\\\ &=P(A>1.147)\\\\ &=1-P(A\leq1.147)\\\\ &=1-\Phi(1.147)\\\\ &=0.1357 \end{aligned}$$

棣莫佛-拉普拉斯中心极限

二项分布收敛于正态分布

对于独立同分布的随机变量序列ξ=(ξ1,ξ2,...,ξn)，若每个随机变量ξi均服从B(1,p)，即为发生概率为p的0-1分布

由林德贝格-勒维中心极限定理：下式服从标准正态分布

$$\frac{\sum_{1}^{n}\xi_i-nE(\xi_k)}{\sqrt{n}\sqrt{D(\xi_k)}}$$

代入0-1分布的性质，可得

$$A=\frac{u_n-np}{\sqrt{np(1-p)}}$$

A服从标准正态分布，即A~N(0,1)，自然有

$$P(A\leq x)=\Phi(x)$$

注意这里每个随机变量服从的是0-1分布，但对于整个随机变量序列，实际上服从的是一个二项分布，即ξ~B(n,p)

• 正态分布是二项分布的极限分布

例题：对于一个学生而言，来参加家长会的家长人数是一个随机变量。设一个学生无家长、1名家长、2名家长来参加会议的概率分别为0.05、0.8、0.15。若学校共有400名学生，设各学生参加会议的家长数相互独立，且服从同一分布

求一名家长参加会与的学生数不超过340的概率？

解：记ξ为带一名家长参加会议的学生数量，易得ξ~B(400,0.8)

由棣莫佛-拉普拉斯中心极限定理（假设400已经够大了），可得

$$A=\frac{ξ-np}{\sqrt{np(1-p)}}$$

满足标准正态分布，所以

$$\begin{aligned} P(ξ\leq340)&=P(A\leq\frac{340-400\times0.8}{\sqrt{400\times0.8\times0.2}})\\\\ &=P(A\leq2.5)\\\\ &=\Phi(2.5)\\\\ &=0.9938 \end{aligned}$$