第六章 大数定律和中心极限定理
第1节 马尔可夫不等式和契比雪夫不等式
马尔可夫不等式
定理 1设随机变量X，若E|X|k存在(k?0)， 则对任意??0,成立
E|X|。
P{|X|??}?k?k证明 记A?{e?S:|X(e)|??} ，令IA(e)??kk则有IA(e)??|X(e)|，
e?A?1, ，
0,e?S?A?kkkk从而，有EIA??E|X|，即得?P(A)?E|X|，
于是成立P{|X|??}?E|X| 。
k?k对随机变量X，成立
E(|X?EX|),(??0,k?0)。
P{|X?EX|??}?k?k
利用f(x)?x在[0,??)上是递增函数，可得
1?xIA?1???|X|，
1?|X|从而成立
?1??P{|X|??}?E|X| ；
1?|X|由IA|X||X|??IA，(1?IA)?，
1?|X|1?|X|1??|X||X||X|?IA?(1?IA)，
1?|X|1?|X|1?|X|得到E
|X||X||X|?E(IA)?E[(1?IA)]
1?|X|1?|X|1?|X|119
?E(IA)?E即成立E?1???P{|X|??}??1?? ，
|X|? 。 ?P{|X|??}?1?|X|1??
切比雪夫不等式
定理2 设随机变量X存在数学期望EX和方差DX,则对任意正数成立
?,
P{|X?EX|??}?E(|X?EX|2)?2?DX?2,
P{|X?EX|??}?1?P{|X?EX|??}?1?
例 1设随机变量
DX?2 。
X存在数学期望EX和方差DX，且DX?0，则对任意a?0，
DX1? ,(a?0).22a(aDX)成立P{|X?EX|?aDX}?
?xm?x?e,x?0例2 设随机变量X的概率密度为f(x)??m! ， 其中m为正整数，
?0,x?0?证明 P{0?X?2(m?1)}?m . m?1证明 EX? ?2???????xf(x)dx????0xm?x1??x?edx ??xm?2?1e?xdx
m!0m!11?(m?2)?(m?1)!?m?1, m!m!2??0EX??xf(x)dx????xm?x1??x?edx??xm?3?1e?xdx
m!0m!2 ?11?(m?3)?(m?2)!?(m?2)(m?1), m!m!DX?EX2?(EX)2?(m?2)(m?1)?(m?1)2?m?1 ,
利用契比雪夫不等式,得
P{0?X?2(m?1)}?P{?(m?1)?X?(m?1)?(m?1)}?P{|X?(m?1)|?(m?1)}
120
?P{|X?EX|?(m?1)}?1?mDXm?1? . ?1?22m?1(m?1)(m?1)kn??例 3设随机序列{Xn}和随机变量X，如果对某一k?0，有limE|Xn?X|?0， 则对任意??0,有 limP{|Xn?X|??}?0。
n??证明 因为 对任意??0，成立P{|Xn?X|??}?kE|Xn?X|k?k，
利用条件limE|Xn?X|?0，即得成立limP{|Xn?X|??}?0。
n??n??例4 设随机变量X的数学期望EX和方差DX均存在,且DX?0,
则有 P{X?EX}?1 .
证明 由契比雪夫不等式P{|X?EX|??}?DX?2,得
1DX10?P{|X?EX|?}??0,n?1,2,?, P{|X?EX|?}?0,n?1,2,?,
1nn()2n又{|X?EX|?0}?1{|X?EX|?}, ?nn?1??????110?P{|X?EX|?0}?P(?{|X?EX|?})??P{|X?EX|?}?0,
nnn?1n?1于是P{|X?EX|?0}?0,P{|X?EX|?0}?1,即P{X?EX}?1.
( P(A1?A2)?P(A1)?P(A2)?P(A1A2)?P(A1)?P(A2),
P(A1?A2?A3)?P(A1)?P(A2)?P(A3),
P(?Ai)??P(Ai)
i?1i?1??).
第2节 大数定律
定理一(契比雪夫大数定律) 设X1,X2,???,Xn,???是相互独立的随机变量序列,每一个
Xi都有有限的方差,且有公共的上界,即D(Xi)?C, i?1,2,???,n,???则对任意??0,成立
1n1nlimP{|?Xi??EXi|??}?1 , n??ni?1ni?1
121
1n1nlimP{|?Xi??EXi|??}?0 . n??ni?1ni?1 定义 对于随机(变量)序列{Xn}和随机变量X(或常数a),若对任意??0,有
n??limP{|Xn?X|??}?1(或limP{|Xn?a|??}?1)
n??则称随机(变量)序列{Xn}依概率收敛于X(或常数a).
PP(等价于limP{|Xn?X|??}?0)简记为Xn???a,(n??)) ??X,(n??)(或Xn?n??推论 (辛钦大数定律)若随机变量序列X1,X2,???,Xn,???独立同分布,且存在有限的数学期望和方差EXi??,DXi??n??2, (i?1,2,???)，则对任意
??0,有
limP{|X??|??}?1 ,
1n其中 X??Xi .
ni?1定理二(贝努里大数定律 ) 设nA是n次独立重复试验中事件A发生的次数,p是事件
A在每次试验中发生的概率, 则对任意??0,成立 limP{|n??nA?p|??}?1 . n例 1 设X1,X2,???,Xn,???是相互独立的随机变量序列,且其分布律为
P{Xn??n}?111,P{X?n}?,P{X?0}?1?,(n?1,2,???)； nn2n?12n?12n1n记Yn??Xi,(n?1,2,???)。证明: 对任给??0，成立limP{|Yn|??}?1。
n??ni?1证明 由数学期望和方差的性质及条件,有
EXn??n?EXn211?n??0?0， 2n?12n?111n?(?n)2?n?1?(n)2?n?1?0?n，
2222DXn?EXn1nn1n?n?1，EYn?E(?Xi)??EXi?0, 2ni?1ni?111n?DYn?D(?Xi)n2ni?1对任意
?DXi?i?1n11, n?2nn??0,由契比雪夫不等式,得
1?P{|Yn|??}?P{|Yn?EYn|??}?1?DYn?2,
122
于是成立 limP{|Yn|??}?1 。
n??定理 设随机(变量)序列{X}依概率收敛于X，设随机(变量)序列{Yn}依概率收敛于Y，
则有{Xn?Yn}依概率收敛于X?Y。
n证明 对任意??0，
由{|(Xn?Yn)?(X?Y)|??}?{|Xn?X|?|Yn?Y|??}
?{|Xn?X|?}?{|Yn?Y|?}，
22??利用条件，得P{|Xn?X|?}?0,P{|Yn?Y|?}?0,(n??)
22??0?P{|(Xn?Yn)?(X?Y)|??}
?P{|Xn?X|?}?P{|Yn?Y|?}?0,(n??)，
22于是limP{|(Xn?Yn)?(X?Y)|??}?0n????，
即得{Xn?Yn}依概率收敛于X?Y。
第3节 中心极限定理
定理三(独立同分布的中心极限定理)设随机变量X1,X2,???,Xn,???独立同分布,且存在有限的数学期望和方差
EXi??,DXi???0, (i?1,2,???) 记Yn2??Xi,(EYn?n?,DYn?n?2),
i?1n Yn*?Yn?EYn?Yn?n?称为Yn的标准化, FY*(x)?nDYnn?则对任意实数x,有
P{Yn?x}
*limn???Y?n?*P{n?x}?limP{Yn?x}?limFn?n???n???Yn*??(x)x12???e?t22dt??(x).
进一步，成立{FY*(x)}在(??,??)上一致收敛于?(x)。
n定理四(De Moivre-Laplace定理)设?n是n次独立重复试验中事件
A发生的次数,p是
123