第四章 大数定律与中心极限定理
第四章 大数定律与中心极限定理
一、教学要求
1. 深刻理解并掌握大数定律，能熟练应用大数定律证明题目； 2.理解随机变量序列的两种收敛性，了解特征函数的连续性定理； 3. 深刻理解与掌握中心极限定理，并要对之熟练应用。 二、重点与难点
本章的重点是讲清大数定律与中心极限定理的条件、结论，难点是随机变量序列的两种收敛及大数定律和中心极限定理的应用。
§4.1 大数定律
一、大数定律的意义 1.引入
在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性——频率的稳定性。频率是概率的反映，随着观测次数n的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。
详细地说：设在一次观测中事件A发生的概率P?A??p，如果观测了n次（也就是一个n重贝努利试验），A发生了?n次，则A在n次观测中发生的频率为频率
?n，当n充分大时，n?n逐渐稳定到概率p。若用随机变量的语言表述，就是：设Xi表示第i次观测中事件nA发生次数，即
?1,Xi???0,则X1,X2,第i次试验中A发生第i次试验中A不发生
ni?1,2,?,n
1n,Xn是n个相互独立的随机变量，显然?n??Xi,从而有??Xi.
nni?1i?1?n因此“
?n稳定于p”，又可表述为n次观测结果的平均值稳定于p。 n 93
第四章 大数定律与中心极限定理
现在的问题是：“稳定”的确切含义是什么？
?n稳定于p是否能写成 n limn???nn?p （1）
亦即，是否对???0，?N,当n?N时,有对n重贝努里试验的所有样本点都成立？
?nn?p?? ? （2）
实际上，我们发现事实并非如此，比如在n次观测中事件A发生n次还是有可能的，此时?n?n,?nn?1，从而对0???1?p，不论N多么大，也不可能得到
当n?N时,有?nn?p??成立。也就是说，在个别场合下，事件（
?nn?p??）还是有
可能发生的，不过当n很大时，事件（
?nn?p??）发生的可能性很小。例如，对上面的
?n?n，有 P???n??1??pn。 ?n?显然，当n??时， P????n??1??pn?0，所以“n稳定于p”是意味着对
n?n????0，有
limP(|n???nn?p??)?0 （3）
（概率上“
?n?稳定于p”还有其他提法，如波雷尔建立了P(limn?p)?1，从而
n??nn开创了另一形式的极限定理---强大数定律的研究）
1n沿用前面的记号，（3）式可写成limP(Xi?p??)?0 ?n??ni?1一般地，设X1,X2,,Xn,是随机变量序列，a为常数，如果对???0，有
1nlimP(Xi?a??)?0 （4） ?n??ni?1 94
第四章 大数定律与中心极限定理
即
1nlimP(Xi?a??)?1 ?n??ni?11n则称?Xi稳定于a。
ni?1概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。 2．定义
若将（4）式中的a换成常数列a1,a2,?,an,?，即得大数定律的一般定义。 定义4.1 若X1,X2,使对???0，有
,Xn,是随机变量序列，如果存在常数列a1,a2,?,an,?，
1nlimP(Xi?an??)?1 ?n??ni?1成立，则称随机变量序列?Xn?服从大数定律。 若随机变量Xi具有数学期望EXi,i?1,2,对???0，有
，则大数定律的经典形式是：
1n1nlimP(EXi??)?1 ?Xi?n?n??ni?1i?11n这里常数列an??EXi,n?1,2,ni?1二、大数定律
本段介绍一组大数定律，设X1,X2,。
,Xn,是一随机变量序列，我们总假定
EXi,i?1,2,存在。
定理4.1（马尔可夫大数定律）如果随机变量序列{Xn}，当n??时，有
1?n?DX?i??0（*） ?2n?i?1?证明：?Xn?服从大数定律。
证明 : 对???0，由切比雪夫不等式，有
95
第四章 大数定律与中心极限定理
1n1n1n1n0?P(Xi??EXi??)?P(Xi?E(?Xi)??) ??ni?1ni?1ni?1ni?11?1n??n??2D??Xi??22D??Xi??0,n?? ??ni?1?n??i?1?1因此
1n1nlimP(Xi??EXi??)?0 ?n??ni?1ni?1即
1n1nlimP(EXi??)?1 ?Xi?n?n??ni?1i?1故?Xn?服从大数定律。 ＃ 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。 定理4.2（切比雪夫大数定律）设X1,X2,,Xn,是一列独立随机变量列，若存在常数
C?0，使有
DXi?C,i?1,2,
则随机变量序列?Xn?服从大数定律，即对???0，有
1n1nlimP(Xi??EXi??)?1 ?n??ni?1ni?1证明： 因为{Xi}为独立随机变量列，且由它们的方差有界即可得到
0?D(?Xi)??DXi?nc
i?1i?1nn从而有
1?n?DXn?? ?i??0,?2n?i?1?满足马尔可夫条件，因此由马尔可夫大数定律，有
1n1n limP(Xi??EXi??)?1 ＃ ?n??ni?1ni?1注：切比雪夫大数定律是马尔可夫大数定律的特例。 例1 设X1,X2,为独立同分布随机变量序列，均服从参数为?的泊松分布，则由独立性
96
第四章 大数定律与中心极限定理
及EXi??,DXi??,i?1,2,知其满足定理4.2的条件，因此有
1nlimP(Xi????)?1 ?n??ni?1注：此例题也可直接验证满足马尔可夫条件。
定理4.3（贝努利定理或贝努利大数定律）设?n是n重贝努利试验中事件A出现的次数，又A在每次试验中出现的概率为p,?0?p?1?，则对???0，有
limP(n???nn?p??)?1
证明：令Xi??n?1,?0,i第i次试验中A发生第i次试验中A不发生
i?1,2,?,n
显然?n??Xi?1.
。 ,n?独立同分布（均服从二点分布）
由定理条件，Xi?i?1,2,且EXi?p,DXi?p?1?p?都是常数，从而方差有界。 由切比雪夫大数定律，有
limP(n???n?1n??p??)?limP??Xi?p????1 ＃
n??n?ni?1?贝努利大数定律的数学意义：贝努利大数定律阐述了频率稳定性的含义，当n充分大时可以以接近1的概率断言，
?n将落在以p为中心的?内。贝努利大数定律为用频率估计概n率（p??nn）提供了理论依据。
注1：此定理的证明也可直接验证满足马尔可夫条件。
注2：贝努利大数定律是切比雪夫大数定律的特例。它是1713年由贝努利提出的概率极限定理中的第一个大数定律。
以上大数定律的证明是以切比雪夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。 定理4.4（辛钦大数定律）设X1,X2,是一列独立同分布的随机变量，且数学期望存在
EXi?a,i?1,2,,则对???0，有
97