设?~P(?),即 P(??i)???ii!e??,i?0, 1, 2, ?,??0.有
?E???i?i?02??ii!2e???e???(i?1)!??e?(i?1)!??e??e??????i?1i?1???i?i?1.
E(?)??i?i?0??ii!e????[i(i?1)?i]i?0???ii!e????i(i?1)i?0???ii!e????ii?0??ii!e??
??(i?2)!ei?22?i???e?22??2?(i?2)!???e???i?22??i?22?e?????2??,
于是 D??E(?)?(E?)????????.
这说明,泊松分布的参数?就是服从泊松分布的随机变量的均值.
4. 均匀分布
?1,a?x?b,?设?~U[a,b],即?的密度函数为f(x)??b?a ,则有
?0,其它.???bE?????xf(x)dx??x?a1a?bdx?,它恰好是区间[a,b]的中点均匀分布,这与均值意b?a2义相符.
1b3?a3a2?ab?b2E(?)??x?dx??,
b?a3(b?a)3a22ba2?ab?b2a?b2(b?a)2?()?. 于是 D??E(?)?(E?)?3212225. 指数分布
??e??x,x?0,设?~E(?),即?的密度函数为f(x)?? ,则有
0,x?0.???????E??
???xf(x)dx??0x?e??xdx???x(?x)de??01?.
??2??xE(?)??x??e02dx???x2de??x?02?2,
于是D??E(?)?(E?)?6. 正态分布
222?211?()2?2.
??2设?~N(a,?), 即?的密度函数为f(x)?12??12??e?(x?a)22?2,???x???,??0.则有
?u221E??2??????xeu22?(x?a)22?2dx 令u??u22x?a?
???(a?u?)edu
1?a?2?值.
????e??du?2????ue?du?a.这说明正态分布的参数a是正态随机变量的均
?D??E(??E?)2?E(??a)2?x?a?2令u??2??u22??2(x?a)?1e2???u22?(x?a)22?2dx,???ue2??2du?2?2????(?u)de??2.
可见,正态分布中的另一个参数?恰好是相应的正态随机变量的方差.
§3 协方差和相关系数
一、 协方差和相关系数
定义:对于二维随机变量(X,Y),若E?则称它为X与Y的[X?E(X)][Y?E(Y)]? 存在,
协方差或相关矩,记为Cov(X,Y)即
[X?E(X)][Y?E(Y)]? Co(vX,Y)?E?定义 2 对于二维随机变量(X,Y),若D(X)?0,D(Y)?0则称
?XY?Cov(X,Y)
D(X)D(Y)
为X与Y的相关系数.
相关系数是用X与Y的标准差去除协方差得到的.事实上这是一种规范化,因为相关系数也就是标准化随机变量
X?E(X)Y?E(Y)、的协方差.
D(X)D(Y)对于任意两个随机变量X和Y,下列等式成立
D(X?Y)?D(X)?D(Y)?2Cov(X,Y); Cov(X,Y)?E(XY)?E(X)E(Y)
协方差的性质
(1)Cov(X,Y)?Cov(Y,X)
(2)Cov(aX,bY)?abCov(Y,X),a,b是常数.
(3)Cov(X1?X2,Y)?Cov(X1,Y)?Cov(X2,Y)
二、 相关系数的性质 利用柯西—许瓦茲不等式,可以得到相关系数的两个重要性质:
(1)?XY?1;
(2)?XY?1的充要条件是X与Y以概率1线性相关,即存在常数a?0和b,有
P?Y?a?bX??1
上述性质表明X、Y的相关系数?XY是X和Y之间线性相关度量的量.当?XY?1时,X与
Y依概率1线性相关,特别当?XY??1时,Y随X的增大而线性增大,此时称X与Y正
线性相关;当?XY??1时,Y随X的增大而线性地减小,此时称X与Y负线性相关.而当
?XY?1时,X与Y的线性相关程度要减弱.?XY接近于零时,表明X与Y间的线性关系
很差.如果?XY?0,我们称为X与Y不相关.值得注意,这里的不相关,指的是在线性关系的角度上考虑的不相关,即线性无关,并不是没有什关系. 独立性和不相关性都是随机变量间联系程度的一种反映. 独立性指的是X、Y的统计规律之间没有任何联系,不相关性指的是X、直观上很清楚,当XY间没有线性相关关系,与Y独立时,X与Y必不相关,但反过来不一定成立.
定理:若(X,Y)~N(?1,?1;?2,?2;?),则X与Y相互独立的充要条件是X与Y不相关. 定理:对随机变量X和Y,有下面等价关系.
X,Y相互独立?Cov(X,Y)?0?X与Y不相关??XY?0
22?E(XY)?E(X)?E(Y)?D(X?Y)?D(X)?D(Y).
矩与协方差矩阵
定义:设X和Y是随机变量,若E(X)(k?1,2,?)存在,则称其为随机变量X的k阶原点矩;若E[X?E(X)](k?1,2,?)存在,则称其为随机变量X的k阶中心矩;若
k?k?E(XkYl)(k,l?1,2,?)存在,则称其为随机变量X和Y的k?l阶混合矩;若
E?[X?E(X)]k[Y?E(Y)]l?(k,l?1,2,?)存在,则称其为随机变量X和Y的k?l阶
混合中心矩.有定义可知,数学期望是一阶原点矩,方差是二阶中心矩,协方差是二阶混合矩.
定理:若随机变量X的k阶原点矩存在,则X的低于k阶的各阶原点矩也存在.
n维协方差矩阵
设
n维随机变量
(X1,X2,?,Xn)的二阶混合中心矩
Cij?Cov(Xi,Xj)?E?[Xi?E(Xi)][Xj?E(Xj)]?,(i,j?1,2,?,n)都存在,则称矩
?C11C12?C1n???CC?C?21222n?阵C?为n维随机变量(X1,X2,?,Xn)的协方差矩阵,由于????????C??n1Cn2?Cnn?Cij?Cji(i,j?1,2,?,n),所以上述矩阵是一个对称矩阵.
n维正态变量具有下列三个重要性质
(1)n维随机变量(X1,X2,?,Xn)服从n维正态分布的充要条件是:X1,X2,?,Xn的任意线性组合l1X1?l2X2???lnXn服从一维正态分布.
(2)若随机变量(X1,X2,?,Xn)服从n维正态分布,设Y1,Y2,?,Yn是X1,X2,?,Xn的线性函数,则(Y1,Y2,?,Yn)也服从多维正态分布.
(3)设随机变量(X1,X2,?,Xn)服从n维正态分布,则:“X1,X2,?,Xn”相互独立与“X1,X2,?,Xn”两两不相关是等价的.
(4)若X1,X2,?,Xn相互独立,且Xi~N(?i,?i),则
2(l1X1?l2X2???lnXn)~N(?,?2)
第五章 极限定理
一、切比雪夫不等式
定理1 设随机变量X具有有限的期望与方差,则对???0,有 P(X?E(X)??)?D(X)?2或P(X?E(X)??)?1?D(X)?2
该不等式表明:当D(X)很小时,P(X?E(X)??)也很小,即X的取值偏离E(X)的可能性很小。这再次说明方差是描述X取值分散程度的一个量。
二、大数定律(——包括强大数定律和弱大数定律,本书主要讲弱大数定律)
定义:设??n?是随机变量序列,它们都具有有限的数学期望E(?1),E(?2),?,若对???0,
?1n??1n?limP???i?E???i?????0,则称??n?服从弱大数定律。 n???ni?1??ni?1?定理2(车贝晓夫大数定律):设相互独立的随机变量?1,?,?n分别具有数学期望
E(?1),?,E(?n)及方差D(?1),?,D(?n),若存在常数C使D(?i)?Ci?1,2,?(方差一
致有界),则{?n}服从大数定律。
1n1n即对任意的??0,有limP{??i??E(?i)??}?0
n??ni?1ni?1注:切比雪夫大数定律是最基本的大数定理,作为切比雪夫大数定律的特殊情形有Bernoulli
大数定理和Poisson大数定律。
定理3(Bernoulli 大数定理)设?n是n重Bernoulli试验中事件A出现的次数,已知在
limP?每次试验中A出现的概率为P(A)?p(0?p?1),则对???0,n????n??p????0. ?n?可见,只要把?i(i?1,2?)看作服从(0-1)分布的随机变量即可。Bernoulli 大数定律在理论上说明了在大量重复独立实验中,事件出现频率的稳定性,正是因为这种稳定性,概率才
有客观意义。
定理4(Poisson大数定律):设?n是n次独立试验中事件A出现的次数,已知在第i次试
验中A出现的概率为pi(0?pi?1),i?1,2?,则对???0
1—lim{|
n??nn?n?Pii?1n??}=0
显然,Poisson大数定律是作为Bernoulli大数定律的推广,它表明随着n??,n次独立试验中事件A出现的概率稳定于各次试验中事件A出现的概率的算术平均值。 推论:设?1,?,?n是相互独立的随机变量,且服从相同的分布, E(?i)??,D(?i)??2i?1,2,?,则???0,有:
1n1n1n limP{??i????}?0 ?limP{??i????}?1 即??i以概率1收敛n??n??ni?1ni?1ni?1于?
这个结论有很实际的意义:人们在进行精密测量时,为了减少随机误差,往往重复测量多次,
1n测得若干实测值?1,?,?n,然后用其平均值??i来代替?。
ni?1§5.2 中心极限定理
定义:设{?n}为相互独立的随机变量序列,若P{?n?x}以概率1收敛于标准正态分布