- 11 -
例 Bevan,Kullberg,和Rice(1979)研究了肌肉细胞膜中流体的随机波动性.净流量来源于穿过开通道的离子.为了拟合净流量的概率分布,一方面分析获得的数据,由49152个净流量观测值得到图8.1（P178）所示的平滑直方图及近似正态拟合曲线,由图可以看出正态分布的拟合效果还是非常好的.另一方面,净流量是大量近似独立流的和,那么由中心极限定理可知净流量近似服从正态分布.这样给净流量X拟合了一个正态分布N(?,?2).统计模型也就建立起来了.在统计推断中还需给出参数?，?2的估计或假设检验,当然对拟合的分布也是需要作检验.在应用中,单个通道特征信息(如电导系数)取自估计的参数?，?2. 例 图8.2显示了不同暴雨降雨量的Gamma分布的拟合效果(Le Cam和Neyman 1967).为了判断催雨对降雨量是否有影响,利用Gamma分布拟合催雨和未催雨区域的暴雨降雨量.催雨和未催雨的暴雨降雨量的差异应该能够反映在参数?，?的差异上.
本章讨论的议题与第一章有很强的相似性,比如都讨论总体参数的估计及优良性评价,样本的概率分布,估计量的抽样分布等.但差别主要体现在两个最基本的概念上:上一章中的总体一般指由一些具体的人或物组成的一个整体,是很具体的,样本是按某种抽样方案从总体抽取出的一部分成员;本章中的总体是指一个概率分布F或随机变量,是抽象的,而简单随机样本X1,X2,?,Xn是取自于这个分布的,它们是n个独立同分布于F的随机变量,或者说X1,X2,?,Xni.i.d～F. §2.2 参数估计 2.2.1 参数估计问题概述
估计问题多种多样,很难纳入一个统一的模式.对于参数模型,常需估计分布中的未知参数或未知参数的函数.对于非参数模型我们可能需要估计分布函数、
- 11 -
- 12 -
分布密度.无论参数模型还是非参数模型,总体的各种特征数,比如均值,方差,中位数等也是常需要估计的参数.
点估计的一般提法是:设?是待估参数,X1,?,Xn为样本,为估计?,我们需要构
????(X,?,X),每当有了样本值x,x,?,x后,就代入该统计量算造适当的统计量?12n1n????(x,?,x),以此值作为?的估计值.为这样的特定目的而构造出一个具体的值?1n????(X,?,X)称为?的估计量.而由具体的样本算出的具体值的统计量?1n????(x,?,x)称为?的估计值。估计值和估计量统称为估计. ?1n由以上点估计提法可以看出,估计的概念相当广泛,并且用不同的估计方法往往会得出不同的估计.如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.当然这些标准不是唯一的，也不是绝对的.从不同角度出发可以提出不同的评价标准.下面我们讨论评价估计量优劣的一些常用标准. 2.2.2 估计量的评选标准 一、均方误差，无偏性及有效性
同一参数的估计可以有多种，那么什么样的估计算是好的，甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用??(X)估
?(X)??|,但由于?是未知的,样本又计?时,评价该估计好坏的一个自然的度量是|?具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可
?(X)??|,出于数学处理上的方便,最常用的标准是由下式给出的以对它求平均E|?均方误差.
?)?E(??(X)??)2 MSE?(?例2.2.1设X1,?,Xn为来自正态总体N(?,?2)的简单随机样本，
- 12 -
- 13 -
(i) 若?已知,考虑?2的两个估计量:
??21n2?1?n?1?(Xi??),??21n0?i?1n?(Xi??)2, i?1求这两个估计量的均方误差,并比较它们的大小; (ii)若?未知,考虑?2的两个估计量:
??2?1?1n2n?1?(Xi?X),??21n0??(Xi?X)2, i?1ni?1求这两个估计量的均方误差, 并比较它们的大小.
解:(I)先求??20的均方误差,由于
E(??20)??2,所MS22?2(??E0)?D(??0)?1n2n2D[?(Xi??)], i?1又
1n222n?2?(Xi??)～?(n),故nD[1(Xi??)2]?2n?4,
i?1?2?(Xi??)]?2n,即得D[i?1?i?1从而知22?4MSE?2(??0)?n,
或MSE?)?D(??2?2(?200)?1nn2D[?(Xi??)2] i?1 ?1n2?nD(X??)2?2?4i, i?1n(这里用到了:若X～N(?,?2),则E(X??)k???(k?1)!!?k,k为偶数，0，
? k为奇数从而D(X??)2?2?4)
再求??2
?1的均方误差,
MSE?21n?2(??1)?E[n?1?(X2i??)??2]2i?11n
?2222(n?1)2E{?(Xi??)?n???]}i?1 - 13 -
以
- 14 -
n12n?1424?{D[(X??)]??}??, ?i22(n?1)(n?1)i?122???易见对任意的n,总有MSE?(?)?MSE(?10), ?221n2???k思考题：考虑?，计算MSE?2(?(Xi??)2（k为整数）)并找出k为何值?n?ki?12k时均方误差最小.
22???2（II）先求?1的均方误差,由于E(??1)??,所以 n1?)?D(??)?MSE?2(?D[?(Xi?X)2] 2(n?1)i?12?12?1又
1?2?(Xi?1nni?X)～?(n?1),故D[221?2?(Xi?1ni?X)2]?2(n?1),
即得D[?(Xi?X)2]?2(n?1)?4,
i?12?4?)?从而知MSE?2(?,
n?12?12?0再求?的均方误差,
1n?)?E[?(Xi?X)2??2]2MSE?2(?ni?120?1E{?(Xi?X)2?(n?1)?2??2]2}2ni?1n
n12n?1?2{D[?(Xi?X)2]??4}?2?4, nni?122???0易见对任意的n，总有MSE?(?(?). 1)?MSE?221n2???k思考题：考虑?，计算MSE?2(?(Xi?X)2（k为整数）)并找出k为何值时?n?ki?12k均方误差最小.
均方误差可分解成两部分:
?)?E(??(X)??)2?Var(??)?[E(??)-?]2 MSE?(?
- 14 -
- 15 -
?)-??0，若偏差b(?)?E(?那么均方误差就等于方差.这样的估计量叫做无偏估计
量.因此有如下义.
????(X,X,?,X)为?的估计量,若对于 定义 设?为待估参数,参数空间为?,?12n任意???,总有
?)?? E?(?????(X,X,?,X)为?的无偏估计量,或者说?????(X,X,?,X)作为?的估计量则称?12n12nlimb(?)?0，称??是?的渐近无偏估计. 具有无偏性.又若n?? 对于不同的无偏估计量的均方误差的比较，就是比较其方差.因此有如下定义：
????（X,?,X)和???（X,?,X)为?的两个无偏估计，若对于任意 定义 设?1n1n~~?)?Var(??)?Var(????，总有Var(?).且至少有一个???，使得Var(?)，我们称??比~?更有效.
~~例2.2.2 设总体X的均值为?，方差为?2，X1,?,Xn是来自该总体的简单随机样本.则
（i）样本均值X为总体均值?的无偏估计； （ii）样本均值S2为总体均值?2的无偏估计;
(iii)对于任意满足?ai?1的一组实数a1,a2,?,an,?aiXi都是总体均值?的无偏
i?1i?1nn估计,且此类无偏估计中, 样本均值X的方差最小. 思考题:样本标准差S是否是总体标准差?的无偏估计?
例2.2.3 设X1,?,Xn是来自总体N(?,?2)的简单随机样本，求解下面问题
1n1n22 (i)?的两个常用估计量S??(Xi?X),S?(Xi?X)2中哪个是无偏估?n?1i?1ni?122n - 15 -
- 1 -
第2章 参数估计和概率分布拟合
英国著名统计学家R.A.Fisher把统计推断归纳为三个方面:抽样分布,参数估计与假设检验.其中参数估计又分为点估计和区间估计.本章主要讨论参数估计,下一章讨论假设检验.后面各章中都会涉及估计和检验的问题.
§2.1 基本概念 2.1.1 简单随机样本
在数理统计中，总体就是指一个随机变量(或向量),或一个概率分布F.这个随机变量（戓概率分布）的特征数或参数就是总体的特征数或参数. 数理统计的任务简单说就是“由样本推断总体”.数理统计学中提出和发展的各种统计方法需要具有普遍性和优良性。而优良性的评估要依据一定的准则，并结合样本的概率性质（即统计模型）给出。
对于简单随机样本，样本的联合分布完全取决于总体分布F，简单随机样本
X1,X2...,Xn具有如下概率性质：
（1）（代表性）每个Xi(i?1,?,n)都具有与总体X相同的分布F； （2）（独立性）X1,X2,...,Xn相互独立.
由于简单随机样本具有如此的概率性质，一旦给出总体的概率密度或分布列我们就可以求出样本的联合概率密度或联合分布列（概率质量函数）。
(1)若总体X具有概率密度函数f(x),那么(X1,X2,?,Xn)的联合密度为
f(x1,?,xn)?f(x1)f(x2)?f(xn)
(2) 若总体X具有概率质量函数p(x),那么(X1,X2,?,Xn)的联合质量函数为
p(x1,?,xn)?p(x1)p(x2)?p(xn) p(x)?P(X?x)
- 1 -
- 2 -
在抽样调查中，若X1,X2,?,Xn是对总体作不重复抽样而得到的样本，那么
X1,X2,?,Xn不相互独立，因而X1,X2,?,Xn不是简单随机样本，但当样本容量n相
对于总体中个体总数N很小时，我们可把X1,X2,?,Xn视为简单随机样本.另外，若总体是无限总体时，那么简单随机抽样得到的样本X1,X2,?,Xn视为简单随机样本. 为建模方便，个体数目N很大的有限总体常被视为无限总体.
本章以及本章以后内容中提到的样本大多是简单随机样本，因此以后说到的样本，如无特别声明，均指简单随机样本.
例2.1.1 设X1,?,Xn为来自总体N(?,?2)的简单随机样本,那么样本(X1,?,Xn)的联合概率密度函数为 f(x1,?,xn)??i?1n1e2????(xi-?)22?2
1)ne ?(2??12?2?(xi??)2i?1n例2.1.2 设总体X服从参数为?的指数分布,X1,?,Xn为来自该总体的简单随机样本,求样本(X1,?,Xn)的联合概率密度函数. 解:总体X的概率密度为 f(x)??e-?x,x?0
样本(X1,?,Xn)的联合概率密度为 f(x1,?,xn)???e??x
ini?1 ??en???xii?1n,x1?0,?,xn?0
例2.1.3 设X1,?,Xn为来自总体B(1,p)的简单随机样本,求样本(X1,?,Xn)的联合概率质量函数.
- 2 -
- 3 -
解:总体X的概率质量函数为 p(x)?P(X?x)?px(1-p)1-x,x?0,1 样本(X1,?,Xn)的联合概率密度为 p(x1,?,xn)??px(1-p)1-x
iini?1xn-x ?p?(1-p)?,x1,?,xn?0,1
ii 2.1.2 统计量及抽样分布
在有了样本后,我们需要对样本进行处理或做某些运算,以提取所需要的信息.用数学的语言,就是要构造样本X1,?,Xn的函数T?T(X1,?,Xn),当有了样本值x1,?,xn后,就可以完全确定T的值T?T(x1,?,xn).称T?T(X1,?,Xn)为统计量.要注意的是这里强调了：当样本值确定后,统计量的值就完全确定。因此统计量
T?T(X1,?,Xn)只是样本X1,?,Xn的函数,而不能涉及任何其他的未知量.例如设
1nX1,?,Xn为来自总体N(?,?)的样本,那么X??Xi是统计量.而对于
ni?121nT??Xi??,当?已知时,T是统计量; 当?未知时,T不是统计量.统计量可以
ni?1是多维的.
在具体的统计问题中,构造统计量总是有目的的，是针对特定问题的需要而构造的，目的是把分散在样本中的某方面信息集中起来、提炼出来。比如,如果
1n需要估计总体均值,我们会考虑统计量X??Xi,而不会考虑统计量
ni?11nS?(Xi-X)2.而如果估计总体方差, 我们会想到统计量?n-1i?121n1n1n22S?(Xi-X)(或?(Xi-X)),而不会用统计量X??Xi. ?n-1i?1ni?1ni?12 - 3 -
- 4 -
下面是一些常用的统计量:
1n 样本均值: X??Xi,
ni?11n 样本方差: S?(Xi-X)2, ?n-1i?12我们常说“S2的自由度为n?1”,自由度这个名词有如下两种解释:
(1) S2是n个数X1?X,?,Xn?X的平方和,而这n个数受到一个(也只有一个)约束:
?(Xi?1ni?X)?0,故只有n?1个自由度.
n1n(2) 若X??Xi代入?(Xi?X)2中,并将其整理为二次型X?AX,则A的秩为n?1.自由
ni?1i?1度就定义为这个秩。
样本标准差:S?S2
1nk 样本k阶原点矩:Ak??Xi
ni?11n 样本k阶中心矩:Bk??(Xi-X)k
ni?11n 样本协方差:Sxy?(Xi-X)(Yi-Y) ?n-1i?1?xy? 样本相关系数:?SxySxSy
次序统计量:设有样本X1,?,Xn,按如下方式定义随机变量X(i),当有了样本值
x1,?,xn后,将样本值从小到大排序为x（1)?x(2)???x(n),那么X(i)的取值为x(i),称
iX（1),X(2),?,X(n))为样本（i)为第个次序统计量, x(i)是X(i)的一次实现.称(XX1,?,Xn的次序统计量, (x（1),X(2),?,X(n))的一次实现.X(1)和（1),x(2),?,x(n))是(XX(n)分别称为极小和极大次序统计量. R?X(n)?X(1)称为样本极差.
样本分位数:样本p(0?p?1)分位数定义为
- 4 -
- 5 -
?X([np]?1)，np不是整数， mp?? ?1?[X(np）?X(np?1)],np是整数?2样本中位数为
?Xn，n是奇数，([]?1)??2??1
],n是偶数?[Xn?Xn([]([]?1)?22?2 m0.5 注：样本分位数的定义在不同的教材上可能会有所差异。
样本经验分布函数:对于任意的实数x,Vn(x)?#{Xi?x,i?1,2,?,n},即Vx(x)表示样本X1,?,Xn中小于或等于x的频数. 经验分布函数定义为 Fn(x)?Vn(x),???x??? n 由于样本X1,?,Xn是n个随机变量,因此统计量T?T(X1,?,Xn)也是随机变量,其概率分布称为抽样分布.当有了具体的样本观察值x1,?,xn后,可得统计量的具体取值T?T(x1,?,xn),称此具体取值为统计量的观察值.
在统计分析和统计推断中,统计量起着重要作用,对统计量的统计性质的了解就很重要.统计量的统计性质主要涉及两个方面:统计量的特征数(比如,期望、方差等); 统计量的概率分布即抽样分布.
性质2.1.1 设总体X的数学期望为?，方差为?2，X1,?,Xn为来自该总体的简单随机样本，X,S2为样本均值和样本方差，则 （1）E(X)?? （2）Var(X)??2n
（3）E(S2)??2
1n1n证明：（1）E(X)?E(?Xi)??E(Xi)??
ni?1ni?1
- 5 -
- 6 -
1n1n?2（2） Var(X)?Var(?Xi)?2?Var(Xi)?；
ni?1ni?1n(3)由于 ?(Xi-X)??(X-2XXi?X)??Xi2-nX2,从而
22i2i?1i?1i?1nnn E(?(Xi-X)??E(Xi2)-nE(X2)
2i?1i?1nn ?n(?2??2)-n(?2??2/n)?(n-1）?2 所以 E(S2)??2
例2.1.4 设X1,?,Xn为来自总体U(0,?)(??0)的简单随机样本,X(n)为极大次序统计量,求（1）X(n)的概率密度函数；（2）E(X(n)),Var(X(n)). 解:X(n)?Max(X1,?,Xn)的分布函数为
?0,x?0,?n?xn（x)?[F(x)]??n,0?x??, FM????1,x??这里F(x)是分布U(0,?)的分布函数,从而可得X(n)的概率密度函数为
?nxn-1,0?x??,? fM （x)???n?0,其他?所以 E(X(n))??0x?2?nxn-1?ndx?n? n?1n?2 n?2 E(X(n))??0x?2?nxn-1?ndx?Var(X(n))?nnn2?2-(?)2??. n?2n?1(n?2)(n?1)2例2.1.5 设X1,?,Xn为来自总体X的简单随机样本,X的分布函数为
F(x),Fn(x)为样本的经验分布函数,对于任意给定的实数x,求
- 6 -
- 7 -
E(Fn(x)),Var(Fn(x)).
解: 对于任意给定的实数x,Vn(x)～B(n,F(x)),从而 E(Fn(x))?E(Vn(x))?F(x),
Var(Fn(x))?1F(x)(1-F(x))Var(V(x))?. nn2n1n 以上结果的推导都用到了简单随机样本的概率性质. 2.1.3 正态总体的抽样分布
一般而言,统计量的精确分布难以导出.而在正态总体下,样本均值和样本方差等常用统计量的精确分布是可以导出的.下面给出其结果.
定理 设X1,?,Xn为来自总体N(?,?2)的简单随机样本，X,S2为样本均值和样本方差，则
（1）X～N(?,?2/n)，
（n-1)S2? （2）2??(Xi?1n2-X)i?2～?2(n-1)，
（3）X,S2相互独立.
对于结论（1），利用正态分布的性质易得，而（2），（3）的证明比较复杂，此处略.
推论：设X1,?,Xn为来自总体N(?,?2)的简单随机样本，X,S2分别为样本均值和样本方差，则
X-?～t(n-1) S/n在数理统计中，经常会遇到对两个或多个总体的均值、方差作比较的问题，此时一般可通过对样本均值的比较、样本方差的比较得出结论.这里就需要知道样本均值之差、样本方差之比的抽样分布.下面给出在正态总体下，样本均值之
- 7 -
- 8 -
差、样本方差之比的抽样分布.
定理 设X1,?,Xm为来自总体N(?1,?12)的简单随机样本，X,Sx2分别为该样本的
22样本均值和样本方差，Y1,?,Yn为来自总体N(?2,?2分别为)的简单随机样本，Y,Sy此样本的样本均值和样本方差.又设两样本相互独立,则 （1） 在?1??2条件下,有
X-Y-(?1-?2)～t(m?n-2)
11SW?mn2w22(m-1)Sx?(n-1)Sy其中S?m?n-2.
2Sx?12(2) 2/2～F(m-1,n-1)
Sy?22.3.4 统计模型
统计分析和推断总是基于一定的统计模型下进行的.统计模型就是样本的联合分布。如何建立统计模型?如何评价统计模型?等等.这些问题很准确论述和回答。只有在具体的统计问题中,去探讨这些问题才有价值.下面先看一个实例:?粒子排放量的泊松拟合.
人们在对放射性物质在一段时间内放射出的粒子数进行观察时，结果显示单位时间内的发射数不是常数。下表给出了1207个时间区间的观测数据,每个区间长10秒.
n 观测频数 期望频数 n 观测频数 期望频数 0～2 18 12.2 3 28 27.0 4 56 56.5
10 123 130.6 11 101 99.7 12 74 69.7 - 8 -
- 9 -
5 105 94.9 6 126 132.7 7 146 159.1 8 164 166.9 9 161 155.6 13 53 45.0 14 23 27.0 15 15 15.1 16 9 7.9 ?17 5 7.1 由于在一段时间内放射出的粒子数是随机波动的，分析这个问题时需要建立统计模型（或随机模型）。若以X表示10秒内?粒子放射数.那么X是一个离散随机变量。实际观测的数据(x1,x2,?,x1027)看成是随机样本(X1,X2,?,X1027)的一次实现。那么如何建立统计模型呢？也就是要对样本(X1,X2,?,X1027)的分布提出一些假设，如果是简单随机样本，只需给对应的总体X拟合一个概率分布。 一般而言，给一个未知的分布,或给总体拟合一个概率分布主要从两个方面去考虑:第一个方面就是“用数据说话”,对观察数据x1,?,xn作初步分析,以初步判断观察数据来自于哪一类分布,要注意的是在数理统计中,观察数据x1,?,xn总是被认是随机样本X1,?,Xn的一次实现;第二个方面就是根据获取数据的方式，物理机制、专业理论或长期的实践经验等方面的信息加以判断.
根据物理机制及长期的观察和经验，放射的粒子数符合三个假设：（1）事件的发生（即粒子的放射）的基本速率在空间或时间上是常数；（2）事件的在发生不同空间或时间区间上相互独立；（3）事件不能同时发生。而符合这三个假设的空间或时间上的随机变量（指在一定空间或时间上事件发生的次数）是服从泊松分布的。依据这三个假设可以认为X1,X2,L,X1207i.i.d～P(?),换言之X1,X2,L,X1207是来自泊松总体P(?)的简单随机样本.再分析实际的观察数据，上面的表格就是
- 9 -
- 10 -
对数据的初步分析。由此也可以初步判断用泊松分布拟合放射的粒子数X是恰当的.
这样,此该问题的统计模型就建立起来了.该模型可以这样描述:总体X～
P(?)(??0为未知参数),X1,X2,?,X1207为来自总体X的简单随机样本.或
X1,X2,?,X1207为来自总体P(?)的简单随机样本.或X1,X2,?,X1207i.i.d～P(?).
我们给出了总体的分布.该分布中含有一个未知参数,要拟合出总体的具体分布就需要通过样本值得到?的估计值,这个问题等同于说要确定样本
x1,x2,?,x1207是来自于分布族{P(?):??(0,??)}中的哪个成员.
统计模型是通过给出样本X1,X2,?,Xn的分布信息加以描述.对于简单随机样本,可通过给出总体的分布信息加以描述,由于我们以后讨论的样本总是简单随机样本,因此我们常以总体的分布信息来描述统计模型.比如:①总体分布族为
{N(?,?2):??(??,??),??(0,??)}.②总体分布族为{B(1,?):??(0,1)}.③总体具有连
续分布,且分布密度具有形式f(x-?).④总体具有连续分布,且分布密度关于?对称,等等.这里①和②是参数模型, 一般地,若模型中给出了总体(或样本)的分布形式,分布中含有有限个未知参数,称这种模型为参数模型,参数的取值范围称为参数空间,常用?表示.③和④是非参数模型. 选择参数模型或非参数模型各有利弊，参数模型中含有更多的信息，由此出发可以获得较高精度的参数估计，但这也是有风险的，当参数模型不真时，就可能远离实际了.非参数模型中所含的信息较少，由此出发得到的推断结果的精度一般不会很高，但所冒的风险要小.这两类模型下所用的统计推断方法有很大差别，以至于形成了统计中的参数方法和非参数方法两大类 再看两个例子
- 10 -
- 16 -
计?
(ii) 若T?aX2?bS2为?2的无偏估计,确定a,b; 解:(i)略
(ii) E(T)?aE(X2)?bE(S2)?a(?2??2)?b?2?a?2?(b?)?2， 由无偏性定义知 对??,?2，有 a?2?(b?)?2??2 从而得a?1,b??。
注:对估计而言，无偏性的要求是否一定要遵守以及无偏性的实际价值如何，这还必须结合具体问题的实际情况去考察.无偏性体现了一种频率思想，只有在大量重复使用时，无偏性才会体现其价值.例如，要估计某批产品的合格品率?，从中抽取n件产品进行检验，其中合格品件数为X，那么X/n是?的无偏估计.然而对一次具体的观察值x而言，x/n与?丝毫不差几乎是不可能的，但凭此具体的观察值x,其接近程度无法知晓，此时无偏性显得没有多大意义.如果问题改为某一工厂每天都对其生产的产品进行抽检，若假定生产过程是稳定的，那估计的无偏性要求便是合理的，比如每天都用X/n估计?，对一天而言，该估计可能偏大也可能偏小，但在一段较长时期内，把各天的估计再进行平均，那么正负偏差就会在很大程度上得以抵消，其平均值会在?周围作微小波动.总之我们不要把无偏性要求看得过重，无偏性是大量重复使用同一估计量时应尽量满足的要求，但根据现有数据进行一次性估计时不必要求什么无偏性. 二、相合性、渐近正态性
????(X,?,X)估计?，其接近程度估计量是与相本容量有关的,假设用统计量?n1n1nan1nan（当然这里首先要明确接近程度的衡量标准，比如均方误差）一般来说与n与?都
- 16 -
- 17 -
有关系.对某个固定的n，接近程度只与?有关且不可能对所有的???都任意小，但当n??时，通常可以做到这一点.为此就需要考察当n??时统计量的性质，在统计中把这方面的性质叫做大样本性质.下面介绍的相合性、渐近正态性就是大样本性质.
????(X,?,X)是?的估计，如果当n??时，有 定义2.4 设?n1n ??n??，
?为?的相合估计. 则称?nP 相合性讨论会涉及概率论中极限定理的内容，这部分的知识我们学得很少，这里就不详细讨论了，只给出几个结论：
????(X,?,X)是?的估计，?)?E(????)2， 1. ?其均方误差为MSE?(?若当n??时，n1nnn?)?0，???? ，则?????(X,?,X)是?的相合估计. MSE?(?n1n2.设总体X的k阶矩E(Xk)??k存在，X1,?,Xn是来自该总体的简单随机样本，则
1nk样本的k阶矩?Xi是总体的k阶矩?k的相合估计.
ni?1?)是g(?)的相合估计. ?是为?的相合估计,g(?)是连续函数,则g(?3.若?nn例2.2.3 设总体X～B(1,?),X1,?,Xn是来自该总体的样本，那么
g(?)?X是1?X?1??的相合估计.
注：相合性只是反映了当n??时估计量的性质,或者说n很大时估计量的渐近
?达到性质,而对任意有限的n,相合性是没有意义的.相合性本身不能说明为使?n一定精度所需的样本容量.一般说来不具备相合性的估计量不可取,但具备相合性的估计量也未必可取.
渐近正态性是估计量的比相合性要求更高的大样本性质.
- 17 -
- 18 -
????(X,?,X)是?的估计,如果存在?2(?),n?1,2,?,满足 定义 2.5 设?nn1n (??n??)/?n(?)?N(0,1)
?为?的渐近正态估计, ?2(?)称为??的渐近方差.记??～AN(?,?2(?)). 则称?nnnnnL渐近正态估计中的渐近方差并不是唯一的,但它们往往具有的阶,即
2 n?n(?)??2(?)
1n 比如,X1,X2,?,Xn是来自均值为?,方差为?2的某总体的样本,那么由中心极限定理有
X??L 2?N(0,1)
?/n1?22??X的渐近方差为??估计量?,它具有阶.若渐近方差取为?n?,或
nn?1n2n?2S2??,渐近正态性都满足.
n2n 同样的原因,我们对渐近正态性不作进一步讨论,这里给出以下几点:
?为?的渐近正态估计,则??是为?的相合估计; 1. 若?nn?为?的渐近正态估计,那么我们可以构造?的近似的置信区间; 2. 若?n3. 在许多场合,估计量的方差很难推导出.在大样本情况下,可以通过比较渐近正态估计的渐近方差去评判优劣. 2.3 矩方法、最大似然估计法. 2.3.1、矩方法
矩估计法被认为是最古老的估计方法之一，它由K.Pearson在上世纪初提出. 矩估计法的原理很简单:若总体X的k阶原点矩E(Xk)??k存在，X1,?,Xn是来
1nk自该总体的简单随机样本，则样本的k阶原点矩Ak??Xi依概率收敛于总体的
ni?1 - 18 -
- 19 -
k阶原点矩?k.对于中心矩也有类似的结论.
基本思想是：用样本矩估计相应的总体矩，用样本矩的函数估计相应的总体矩的函数.具体说就是,设X1,?,Xn为来自某总体X的样本，以?r表示总体的r阶原点矩，Ar表示由样本X1,?,Xn得到的r阶样本原点矩，即
1nr ?r?EX，Ar??Xi
ni?1r?r?Ar，若某参数?可以表示为总体前k阶原点矩的函数那么?r的矩估计为??(X,?,X)?g(A,?,A)估计?，称这样的估计为矩估??g(?1,?,?k)，则我们用?1n1k计.矩估计法用中心矩也可以.
矩估计法也可用于估计参数统计模型中的未知参数，设总体分中含有k个未知参数?1,?,?k，并且每个参数都可以表示为总体矩的函数比如，那么这些参数的矩估计便是 ?i??i(?1,?,?l)(l?k)，i?1,?,k，
???(A,?,A)，i?1,?,k. ?ii1l比如,总体分布中含有一个未知参数?,且?可表示为总体均值?1?E(X)的函数
??g(X);若总体分布中含有两个未知参数?,?,??g(?1),那么?的矩估计量为?12且它们可表示为总体的1阶,2阶矩?1?E(X),?2?E(X2)的函数
??g(A,A)和?1?g1(?1,?2),?2?g2(?1,?2),那么?1,?2的矩估计量分别为?1112??g(A,A). ?2212 总之,矩估计方法包括三个基本步骤:
1. 计算低阶矩,找出利用参数表示的矩表达式,通常需要的低阶矩个数等于参数个数.若某个低阶矩与参数无关,则这个矩就不要. 2. 反解上一步的表达式,得到由矩表示的参数的表达式. 3. 将样本矩代入第二步的表达式,得到参数的矩估计.
- 19 -
- 20 -
例如。设X1,X2,?,Xn为来自总体P(?)的简单随机样本,求?的矩估计量. 解:由于?1?E(X)??,即???1,所以?的矩估计量为
??X ??是?的无偏估计,②??是?的相合估计, 进一步讨论以上估计量的性质,易见①??是?的渐近正态估计,④??的方差为Var(??)??/n.另外，由于总体的方差为?，③?1n因此样本二阶中心矩B2??(Xi?X)2也是?的矩估计。这说明矩估计不是唯一
ni?1的，这就存在比较优劣问题。
下面来分析一个具体例子。考虑美国国家科学与技术研究所的一项研究（Steel等1980）.观测滤光片上石棉纤维的个数，以制定石棉浓度的测量标准。下面是23个网格中的纤维数的观测值：
31 29 19 18 31 28 34 27 34 30 16 18 26 27 27 18 24 22 28 24 21 17 24
在这种情况下，泊松分布适合描述不同网格之间纤维数的随机性，并可用来刻画未来观测的内在随机性。换句话说，这批数据可视为来自总体P(?)的样本。
??X，由观测数据可得?的矩估计值为???24.9。 参数?的矩估计为样本均值?
这个估计的稳定性如何？解决这个问题的标准统计技术是推导估计量的抽样分布或近似分布。统计模型假定样本X1,X2,?,Xni.i.d～P(?).由泊松分布的性
??X的概率质量函数为 质知?Xi～P(n?),从而可得估计量?i?1k?n?k(n?)e??)? P(?,k?0,1,2,? nk!n易得
- 20 -
- 21 -
?)??)??,Var(? E(??n
?是?的无偏估计,标准误差为 可见,? ?????n
?代替?,得到相应量抽样分布和标准误差依赖于未知参数?,我们可用估计值??的估计标准误差的近似估计,并用其评估估计的变异性.特别地,我们可计算?(estimated standard error)为
???? ?24.9?1.04 23例2.2.4 设X1,X2,?,Xn为来自总体N(?,?2)的简单随机样本,求?,?2的矩估计量. 解:正态分布的一、二阶矩是 ?1?E（X）?? ?2?E（X2）??2??2 从而 ???1 ?2??2-?12
所以?,?2的矩估计量分别为
??X ?1n21n2???Xi-X??(Xi-X)2 ?ni?1ni?12例2.2.3 设X1,X2,?,Xn为来自总体?(?,?)的简单随机样本,求?,?的矩估计量. 解：总体?(?,?)的前二阶矩为 ?1???(??1)，?2? ??2由此得
- 21 -
- 22 -
?12 ?? , ??22?2??1?2??1?1所以?,?的矩估计量分别为
X2X2??X， ??? ?，??2?2?A2?X2?1n???(Xi?X)2。 其中?ni?12 用Gamma分布拟合自1960年至1964年伊利诺伊州227次暴雨的降雨量.由数
??1.674. ??0.375, ??2?0.1338,因此?算得x?0.224,? 矩估计是不唯一的。原则上讲,用原点矩、中心矩、低阶矩及高阶矩均可.我们可以依据以下两个基本原则来选择矩估计：（1）涉及到的矩的阶数尽可能小，常用的矩估计一般只涉及一、二阶矩，而且是原点矩；（2）所用估计量最好是（最小）充分统计量的函数(充分统计量的概念将在后面介绍).
矩估计有两个基本特点：（1）矩估计是基于经验分布函数，而经验分布函数逼近真实分布的前提条件是样本容量较大，因而理论上讲，矩估计是以大样本为应用对象；（2）矩估计没有用到总体分布的信息，本质上讲它是一种非参数方法，对已知的总体分布，矩估计不一定是好的估计.尽管如此，人们一般并不把矩方法完全当成非参数方法，它在小样本场合也常常得到应用.
在讨论矩估计时，相应的矩的存在性是前提，若总体矩不存在，也谈不上矩估计.比如柯西分布:f(x)?1,???x??.、
?(1?(x??)2)2.3.2 最大似然估计法
最大似然估计法是应用最广泛的一种方法，它可以用来解决许多统计问题，在统计学中占据非常重要的地位.我们它还具有非常漂亮的理论结果.
- 22 -
- 23 -
我们先通过一个例子来阐述最大似然估计法的思想.
设X1,X2,?,Xn为来自总体P(?)的简单随机样本，样本（X1,X2,?,Xn）的概率质量函数为
p(x1,x2,?,xn;?)?P(X1?x1,X2?x2,?,Xn?xn) ??n?xe??ii?1xi!x???ie?n?(?xi!)?1
函数p(x1,x2,?,xn;?)与x1,x2,?,xn及?有关，固定?，它是一个概率质量函数，表示随机向量（X1,X2,?,Xn）取（x1,x2,?,xn）的概率.反过来，固定x1,x2,?,xn，它是?的函数，反映事件(X1?x1,X2?x2,?,Xn?xn)的概率怎样随参数?的变化而变化.对于参数估计问题，x1,x2,?,xn为样本观察值，那么p(x1,x2,?,xn;?)是?的函数，对于不同的?1,?2?(0,??)，如果p(x1,x2,?,xn;?1)?p(x1,x2,?,xn;?2)，则我们说被估计的参数?是?1的可能性比是?2的可能性大.由于参数?不是随机变量，无概率可言，因此改用“似然”一词，我们说?是?1的似然程度比是?2的似然程度高.通过以上分析，我们自然想到应该用使得似然程度最大的参数?的值作为?的估计.这便是最大似然估计.在样本是连续随机向量时，我们用样本的联合概率密度函数表示参数的似然程度.于是有如下定义.
定义 设样本（或质量）函数f(x1,x2,?,xn;?)（?（X1,X2,?,Xn）具有联合概率密度可以是向量）.若x1,x2,?,xn为样本观察值，称f(x1,x2,?,xn;?)为似然函数，记之为
????(x,x,?,x)满足 L(x1,x2,?,xn;?)，并简记为L(?).若?12nL(x1,x2,?,xn;?) L(x1,x2,?,xn;??)?max???????(x,x,?,x)为?的最大似然估计,简记为MLE，称?????(X,X,?,X)为?的 称?12n12n最大似然估计量.
似然函数是通过样本的概率密度（或质量）函数f(x1,x2,?,xn;?)得到：
- 23 -
- 24 -
L(x1,x2,?,xn;?)?f(x1,x2,?,xn;?).两者的区别在于：概率密度（或质量）函数f(x1,x2,?,xn;?)是x1,x2,?,xn的函数；而似然函数L(x1,x2,?,xn;?)是参数?的函数，
其中的x1,x2,?,xn是样本值.
若总体具有概率密度（或质量）函数f(x;?)，X1,X2,?,Xn为来自该总体的简单随机样本，x1,x2,?,xn是样本值，则似然函数为 L(?)??f(xi;?)
i?1n由于L(?)与l(?)?lnL(?)具有相同的最大值点，因此最大似然估计常常通过求
l(?)的最大值点得到.我们称l(?)为对数似然函数.在似然函数对?具有连续导数
(或偏导数时),可建立方程(称为似然方程)：
dl(?)?0 d?如果这方程有唯一解，且能验证它是最大值点，则该唯一解是最大似然估计.有时似然函数对?并不可导，这时须回到定义上去分析.
例2.2.7 x1,x2,?,xn为来自总体P(?)的简单随机样本，求?的MLE. 解:似然函数为 L(?)???n?xe??ii?1xi!x???ie?n?(?xi!)?1
l(?)?lnL?(?xi)ln?-n?-ln(?xi!), 令
dl(?)1??xi-n?0 d??1n解得???xi,
ni?11n可以验证???xi是l(?)的最大值点,所以?的MLE为
ni?1??x. ?
- 24 -
- 25 -
例2.2.8设X1,X2,?,Xn是来自N(?,?2)的样本,
(i)若?(ii)
已知,求?2的MLE;
?,?2均未知,求?,?2的MLE.
解:(i)似然函数为
L(?2)?(2??)e2n?22?(xi??)22?2?i?11n,
1n1n2l(?)??ln(2?)?ln(?)?(xi??)2, 2?222?i?1?ln1令????(?2)2?22?42?(x??)ii?1n2?0,
1n解得 ???(xi??)2,
ni?11n容易验证, ???(xi??)2?0,且确是l(?2;x)的最大值点,所以?2的MLE为
ni?121n???(xi??)2; ?ni?12(ii) 似然函数为
L(?，?2)?(2??)e2n?22??(xi??)22?2i?11n,
1n1n2l(?，?)??ln(2?)?ln(?)?2?(xi??)2,
222?i?1?l1令?2????(x??)?0
ii?1n?ln1????(?2)2?22?42?(x??)ii?1n2?0,
1n解得??x ,???(xi?x)2,
ni?11n可以验证, ??x, ???(xi??)2?0确是l(?,?2;x)的最大值点,所以?,?2的
ni?12 - 25 -
- 26 -
MLE分别为
1n??x ,????(xi?x)2. ?ni?12例 设X1,X2,?,Xn为来自总体?(?,?)的简单随机样本,求?,?的MLE. 解:样本的对数似然函数为
l(?,?)?n?ln??(??1)?lnxi???xi?nln?(?)
i?1i?1nn令
n?l??(?) ?nln???lnxi?n?0 ???(?)i?1?ln?n ???x?0 ???i?1i 由上面第二个方程可得 ???x,再代入第一个方程,但这个方程没有闭形式的解.
因此需要迭代方法进行求解,初值可取为矩估计.就降雨量数据,可算得?,?的
??1.674. ??0.441MLE分别为?, ?例(介子衰变)在介子衰变中,电子散射角?的余弦具有密度
1?? x,?1?x?1,?1???1 21在物理上,|?|?.但是f(x;?)是|?|?1上的概率密度函数.设有样本X1,X2,?,Xn.
3 f(x;?)?(i)求?的矩估计; 的MLE.
1(ii) 求?解: (i)?1??-1x?1?? x?dx?, 23??3X; 所以??3?1,从而得?的矩估计为?(ii)对数似然函数为 l(?)??ln(1?? xi)?nln2
i?1n - 26 -
- 27 -
?l ????1?? x,
i?1inxi?的MLE满足方程
?1?? xi?1nxi?0
i该方程是?的高次方程,其在[?1,1]的解不一定唯一.我们要使用迭代技术求解,初值可取为矩估计值.
例 设X1,X2,?,Xn是来自U(0,?)的样本,??0为未知参数,
(i)求?的矩估计; 的MLE.
?2(ii) 求?解:(i)?1?,从而??2?1,故?的矩估计为
??2X ?(ii) 总体的概率密度函数为
?1?,0?x??, f(x;?)?????0,else似然函数为
L(?)??f(xi;?) ?1?n,??x(n), ???
??0,else易见当??x(n)时,L(?)是?的单调减少函数,因此??x(n)时, L(?)取得最小值.故?的MLE为
???x(n)
思考题:比较以上两个估计.
- 27 -
- 28 -
例(多项分布参数的MLE)在分类数据的统计模型中常用到多项分布:总体X分为m个类别,用1,2,?,m代表m个类别,且P(X?i)?pi,i?1,2,?,m(?pi?1,pi?0).从
i?1m总体中抽取n个个体进行观察得结果X1,X2,?,Xn(一般假设总体所含个体数目很大,那么无重复抽样的结果X1,X2,?,Xn也认为是相互独立的).实用中,我们往往不关注各个样品的类别,而是记录各个类别出现的频数,并列出如下统计表： 类别 1 频数 n1 2 n2 ? ? m nm 这里ni(i?1,2,?,m)表示观察的n个个体中属于第i类的频数.这样(n1,n2,?,nm)服从
m项分布,其概率质量函数为
f(n1,n2,?,nm)?n!nmn2 p1n1p2?pmn1!n2!?nm!这也是似然函数,对数似然函数为 l(p1,p2,?,pm)?lnn!??lnni!??nilnpi 在约束条件?pi?1下,可求得pi的MLE为
i?1m pi?ni,i?1,2,?m n 在很时候,常假定多项单元概率pi为其他未知参数?的函数pi?pi(?).此时,关于未知参数?的对数似然函数为 l(?)?lnn!??lnni!??nilnpi(?)
例如:考虑哈代—温伯格模型.根据哈代—温伯格定律,基因型在AA,Aa和aa总体中出现的频率分别为(1??)2,2?(1??),?2.若有样本(n1,n2,n3).则 ?的对数似然函数为
l(?)?lnn!??lnni!?n1ln(1??)2?n2ln[2?(1??)]?n3ln?2
- 28 -
- 29 -
令
?l2nnn2n??1?2?2?3?0 ??1???1???得?的MLE为 ???n2?2n3
2(n1?n2?n3) 在1937年香港人口总体的抽样中,血型发生频数如下,其中M和N是红细胞抗原,
血型 M MN N 总计 频数 342 500 187 1029 假设血型发生频数符合哈代—温伯格模型,那么可得??的MLE ???n2?2n3500?2?187??0.4247
2(n1?n2?n3)2?1029由此得三个血型类别M,MN,N的概率的估计值分别为0.331,0.489,0.180. 极大似然估计法的思想,始于高斯的误差理论,到1912年由R.A.Fisher在一篇论文中把它作为一个一般的估计方法提出来.此后Fisher及许多统计学家对这一估计法做了大量研究.总的结论是:在各种估计方中,相对说它一般更为优良.与矩估计法不同,极大似然估计法要求分布有参数形式.极大似然估计有许多漂亮的大样本性质,关于这方面的结果本课程不予讨论. §2.4 贝叶斯估计
Bayes方法在统计学上与经典统计学方法具有基本区别.但Bayes方法在某些方面对统计学还是有相当帮助的.并且有许多成功的应用.
在经典统计学中,参数?被认为是一个未知,但固定的量.它不是随机变量.从以?为指标的总体中抽取样本,基于样本观察值获得?的知识,统计推断在设定
- 29 -
- 30 -
的统计模型下基于样本进行.因此经典统计学中的信息来源有两个方面:(1)结构信息（模型信息），（2）样本信息.
在Bayes统计中, 参数?被考虑成一个随机变量,其变化可被一个概率分布描述,该分布叫做先验分布.这是一个主观的分布,建立在试验者的信念之上,并且在得到观察数据之前就已经用公式制定好了.然后以?为指标的总体中抽取样本,先验分布通过样本信息得到校正,这个被校正的分布叫做后验分布,再利用后验分布进行推断.由于这个校正工作是通过Bayes法则完成的,因而称为Bayes统计.因此Bayes统计学除了利用结构信息和样本信息外,还要利用先验信息. 下面来推导后验分布,这里都以连续情况来说明,对于离散情况可类似进行. 设?的先验密度为?(?)(这里随机变量?,和自变量?用同一个字母),样本
X?(X1,?,Xn)的密度为f(x|?),其中x?(x1,?,xn),注意此处样本的密度与经典统
计学中所说的样本的密度f(x;?)有所区别,Bayes统计学中所说的样本的密度
f(x|?)是指在参数?(它是一个随机变量)等于?(它是一个值)的条件下,样本的
条件密度.
样本X?(X1,?,Xn)与?的联合密度为 f(x,?)??(?)f(x|?)
从而可得样本X?(X1,?,Xn)的边缘密度为 m(x)??f(x,?)?(?)d???f(x|?)?(?)d? 在给定样本X?x的条件下,?的条件密度为
?(?|x)?f(x,?) m(x)这个密度称为参数?的后验密度（或后验分布）,后验分布是在给定样本观察值x的条件下参数?的条件分布.
- 30 -
- 46 -
下, 样本X?(X1,X2,?,Xn)的条件分布不依赖于参数?.
注意这里的参数可以是多维的,比如??(?1,?2?,?k),统计量T也是多维的
T?(T1,T2,?,Tm),一般而言m?k.理想情况是m?k.在多维情况下,我们说T?(T1,T2,?,Tm)是关于??(?1,?2?,?k)的联合充分统计量(联合一词可省去),而不
能说Ti是关于?j的充分统计量.
由定义去寻找充分统计量是非常困难的,下面的因子分解定理提供了识别并寻找充分统计量的简便方法.
定理：统计量T?T(X1,?,Xn)为关于?的充分统计量的充分必要条件是样本
X?(X1,X2,?,Xn)的联合概率（质量）密度可以分解为如下形式：
f(x1,?,xn;?)?g(T(x1,?,xn),?)h(x1?,xn) 例如,
(i)设X1,X2,?,Xn为来自总体P(?)的样本,则
?Xi?1ni(或X)是参数?的充分统计量;
n(ii)设X1,X2,?,Xn为来自总体B(N,?)的样本,则?Xi(或X)是参数?的充分统计
i?1量;
(iii)设X1,X2,?,Xn为来自总体U(0,?)的样本,则X(n)是参数?的充分统计量; (iv)设X1,X2,?,Xn为来自总体Exp(?)的样本,则?Xi(或X)是参数?的充分统计量;
i?1n(v)设X1,X2,?,Xn为来自总体N(?,?)的样本,则(1)在?2n2已知时,?Xi(或X)是参数
i?1n1n?的充分统计量;(2) 在?已知时,?(Xi??)( 或?(Xi??)2)是参数?2的充分统
ni?1i?12计量.(3) 在?,?都未知时, (?Xi,?Xi2) (或(X,S2))是参数(?,?2)的充分统计量.
2nni?1i?1 - 46 -
- 47 -
设总体为单参数的指数型分布族{f(x;?):???}，总体的密度表示为： f(x;?)???exp{c(?)T(x)?d(?)?S(x)},x?A,
?0,x?AX1,?,Xn为简单随机样本，那么样本（X1,?,Xn）的密度为
f(x1,?,xn;?)?exp{c(?)?T(xi)?nd(?)??S(xi)} 由因子分解定理知?T(xi)是?的充分统计量.
若总体为k参数??(?1,?,?k)的指数型分布族{f(x;?):???}，总体的密度表示为：
k??exp{?cj(?)Tj(x)?d(?)?S(x)},x?A, f(x;?)?? j?1?0,x?A?X1,?,Xn为简单随机样本，那么样本（X1,?,Xn）的密度为
f(x1,?,xn;?)?exp{?[cj(?)?Tj(xi)]?nd(?)??S(xi)}
j?1nkni?1n由因子分解定理知(?T1(xi),?T2(xi),?,,?Tk(xi))是??(?1,?,?k)的充分统计量.
i?1i?1i?1n例如, 设X1,X2,?,Xn为来自总体N(?,?)的样本, ?,?都未知, (?Xi,?Xi2)
22nni?1i?1(或(X,S2))是参数(?,?2)的充分统计量. 下面我们讨论最优无偏估计的问题.
定义 设??是?的无偏估计量，若对于?的任一无偏估计量?，总有
~?)?Var(?Var(?),???
~则称??是?的最小方差无偏估计量.简记为MVUE.
显然,在正则条件下,若无偏估计量??的方差等于C-R下界,那它是MVUE.而在一般场合下需要使用充分统计量(如果存在的话).
- 47 -
- 48 -
??E(?|T),则??定理 设?是?无偏估计量,T?T(X1,?,Xn)为充分统计量,令??)?Var(?). 是?的无偏估计量,且Var(?~~~??E(?|T)是一个不次于?的无偏估由定理说明,若?是?的无偏估计量,则???E(?|T)是否是?的最小方差无偏估计量?答案是否定的.但这定理给计量,而?~~~~我们提供了寻找最小方差无偏估计的方向:若存在充分统计量T,那MVUE(如果存在的话)一定是T的函数.
假设?1，?2是?的任意两个无偏估计量,又假设存在充分统计量T,我们可以构
??E(?|T),???E(?|T),这两个无偏估计量分别不次于?和选两个无偏估计量?11221??E(?|T)和???E(?|T)是??E(?|T)未必相同，如果他们相同，则??2.而?111122~~~~~~~~~MVUE(注意这里的?1，?2是指?的任意两个无偏估计量).要保证这一点,需要给充分统计量T再加“完备性”条件. 完备性的概念就不介绍了,为了应用我们以下结论.
设样本（X1,?,Xn）的分布族为k参数??(?1,?,?k)??的指数型分布族,其密度为 f(x1,?,xn;?)?exp{?[cj(?)?Tj(xi)]?nd(?)??S(xi)}
j?1i?1kn~~且?（?为R的子集）有内点，则(?T1(xi),?T2(xi),?,,?Tk(xi))是完备统计量.
knnni?1i?1i?1既充分又完备的统计量称为充分完备的统计量.因此
(?T1(xi),?T2(xi),?,,?Tk(xi))是充分完备统计量.
i?1i?1i?1nnn??E(?|T),则??是?的定理:设T是充分完备统计量, ?是?无偏估计量,令?~~MVUE.
这个定理给我们提供了找MVUE的方法.设T是充分完备统计量,
??h(T)是?的MVUE; 方法一:设法找到一个T的函数h(T),使得E(h(T))??,则?
- 48 -
- 49 -
??E(?|T),则??是?的方法二:先找出?的一个无偏估计量?,再求出条件期望?~~MVUE.
例2.3.8 设X1,?,Xn为来自总体P(?)的简单随机样本, (i)证明:X 是?的MVUE; (ii) 求?2的MVUE.
(i)证明:由于X是?的充分完备统计量,且E(X)??,故X是?的MVUE;
(ii)分析:需找出一个X的函数h(X),使得E(h(X))??2,容易想到该函数与X2有关.又EX2??2?,因而?2?EX2?n??n?E(X2-1X),所以 n X2-X是?2的MVUE.
例2.3.8 设X1,?,Xn为来自总体N(?,?2)的简单随机样本,?,?2均未知. (i)证明:X 是?的MVUE; (ii) 求?2的MVUE.
(i) 证明:由于（?Xi,?Xi2)是(?,?2)的充分完备统计量,且E(X)??,故X是?的
i?1i?1nn1nMVUE;
nnn1n1222(ii)S?(Xi-X)?(?Xi-nX)是（?Xi,?Xi2)的函数,且是?2的无偏估?n-1i?1n-1n?1i?1i?12计.故?2的MVUE为S2.
由于S2的方差大于C-R下界,因此?2的C-R下界达不到.
例2.3.9设X1,?,Xn为来自总体U(0,?)的简单随机样本,??0为未知参数.求?的MVUE.
解：由于X(n)是?的充分完备统计量（这里的完备性需用定义去证明）,且
E(X(n))?nn?1n?1?,从而E(X(n))??，故X(n) 是?的MVUE. n?1nn- 49 -
- 50 -
在结束本小节前再说几点.
（1）在充分统计量存在时，充分性统计量不是唯一的.自然，对数据压缩程度最高的充分统计量是最好的充分统计量，这里就有“最小充分统计量”的概念，本课程不介绍此概念，但可以指出：在指数型分布族中找出的充分统计量一般是最小充分统计量.
（2）次序统计量是充分统计量.
（3）若统计量T与统计量S之间是一一对应的关系，则T是充分统计量充要条件是S是充分统计量.
（4）若存在充分统计量，则最大似然估计是充分统计量的函数.这也从一个侧面说明了最大似然估计的优良性.而对于矩估计，由于矩估计不唯一，因而就有选择的问题，一个选择的原则是用充分统计量或其函数. §2.6 区间估计
区间估计的概念和应用，我们在第一章就已经介绍过.本节将再次介绍区间估计的概念，并讨论求置信区间的方法及将这个方法用于求正态总体参数的置信区间，本节最后介绍一些非正态总体参数的区间估计及近似的置信区间. 2.6.1区间估计的概念
参数点估计??与真实值总是有差距，如果不给出这种差距的量化测度，那么对得到的点估计的信任会大打折扣，这种差距的量化测度一般有标准误差和置信区间两种.因此在实际应用中几乎所有的估计都会要求给出估计的标准误差或给出参数的置信区间.
????(X)后，我们用估计的均方误差E[??(X)??]2(或标准给出了参数?的估计??????(X)是?的无偏估计时，均方误差E?(????)2)表示估计的精度）.特别地，当?
- 50 -